O agente multimodal geral na operação do espaço semântico parece avançado, mas se a latência for alta, é completamente inútil.

A equipa da NUS lançou o benchmark GameWorld, que inclui 34 jogos de navegador, 170 tarefas, com indicadores verificáveis para uma avaliação objetiva. Testaram duas categorias de interfaces de agentes: a interface de uso de computador com comandos de teclado e rato diretamente, e um agente multimodal geral que opera no espaço semântico. A evidência empírica de 18 combinações de modelos e interfaces mostra que, mesmo os melhores desempenhos, estão longe do desempenho humano, e enfrentam desafios em latência em tempo real, sensibilidade à memória de contexto e eficácia das ações. O artigo relacionado e o código estão disponíveis publicamente no HuggingFace e no GitHub.