uso de computador vs. proxy semântico, duas rotas tecnológicas em confronto direto, os dados falam por si

A equipa da NUS publicou o benchmark GameWorld, que inclui 34 jogos de navegador, 170 tarefas, com indicadores verificáveis para uma avaliação objetiva. Testaram duas categorias de interfaces de agentes: a interface de uso de computador com comandos de teclado e rato diretamente, e um agente multimodal geral que opera no espaço semântico. Os resultados empíricos de 18 combinações de modelos e interfaces mostram que, mesmo o melhor desempenho, está longe do humano, e há desafios em termos de latência em tempo real, sensibilidade à memória do contexto e eficácia das ações. O artigo relacionado e o código estão disponíveis publicamente no HuggingFace e no GitHub.