Olhei para o resultado, o melhor modelo ainda está muito longe dos humanos, fiquei mais calmo.

A equipa NUS lançou o benchmark GameWorld, que inclui 34 jogos de navegador, 170 tarefas, com indicadores verificáveis para uma avaliação objetiva. Testaram duas categorias de interfaces de agente: a interface de uso de computador com comandos de teclado e rato direta, e um agente multimodal geral que opera no espaço semântico. A evidência empírica de 18 combinações de modelos e interfaces mostra que, mesmo os melhores desempenhos, estão longe do desempenho humano, e enfrentam desafios em latência em tempo real, sensibilidade à memória de contexto e eficácia das ações. O artigo relacionado e o código já estão disponíveis no HuggingFace e no GitHub.