HuggingFace et GitHub ont tous deux été open source, abaissant la barrière pour la reproduction, la communauté peut suivre.

L'équipe NUS a publié le benchmark GameWorld, comprenant 34 jeux de navigateur, 170 tâches, avec des indicateurs vérifiables pour une évaluation objective. Elle teste deux types d'interfaces d'agents : l'interface computer-use utilisant des commandes clavier-souris directes, et l'interface multimodale générale opérant dans l'espace sémantique. Les résultats empiriques de 18 combinaisons de modèles et d'interfaces montrent que même le meilleur performeur est loin de l'humain, et que des défis subsistent en termes de latence en temps réel, de sensibilité à la mémoire contextuelle et d'efficacité des actions. La publication et le code associés sont disponibles sur HuggingFace et GitHub.