Contrôle direct par clavier et souris ou sémantique de haut niveau, quelle interface a le plus d'avenir ?

L'équipe NUS a publié la référence GameWorld, comprenant 34 jeux de navigateur, 170 tâches, avec des indicateurs vérifiables pour une évaluation objective. Teste deux types d'interfaces proxy : l'interface computer-use utilisant des commandes clavier-souris directes, et un agent multimodal général opérant dans l'espace sémantique. Les résultats empiriques sur 18 combinaisons modèle-interface montrent que même le meilleur performeur est loin derrière l'humain, avec des défis en termes de latence en temps réel, de sensibilité à la mémoire contextuelle et d'efficacité des actions. La publication et le code associés sont disponibles sur HuggingFace et GitHub.