HuggingFace e GitHub ambos abriram o código-fonte, reduzindo a barreira para reprodução, a comunidade pode acompanhar.

A equipa da NUS lançou o benchmark GameWorld, que inclui 34 jogos de navegador, 170 tarefas, e indicadores verificáveis para uma avaliação objetiva. Testaram duas categorias de interfaces de agente: a interface de uso de computador com comandos de teclado e rato diretamente, e um agente multimodal geral que opera no espaço semântico. Os resultados empíricos de 18 combinações de modelos e interfaces mostram que, mesmo o melhor desempenho, ainda fica muito atrás do humano, e há desafios em relação à latência em tempo real, sensibilidade à memória do contexto e eficácia das ações. O artigo relacionado e o código estão disponíveis publicamente no HuggingFace e no GitHub.