Grok 4.5 chega ao topo do ranking de resistência dos agentes da Tencent Hunyuan, com mais de 60% das tarefas concluídas sem o modelo

robot
Geração de resumo em curso
De acordo com a monitorização Beating, a equipa de Hunyuan da Tencent, em colaboração com várias universidades, lançou o LHTB, para testar especificamente se os agentes de IA conseguem concluir continuamente tarefas complexas no terminal.

O benchmark inclui 46 tarefas, cobrindo áreas como engenharia de software, reprodução de experiências, computação científica e análise multimodal. Cada tarefa pode demorar até 90 minutos e, normalmente, exige operações contínuas de centenas de passos.

O LHTB não avalia apenas o desfecho final. Concluir apenas parte de uma tarefa também é pontuado de acordo com o progresso real. Os validadores ocultos verificam ficheiros, resultados de testes e a saída do programa; a mera afirmação do agente de que concluiu não conta.

A primeira versão do artigo testou 15 modelos. O GPT-5.5 completou 7 tarefas, ficando em primeiro lugar. Cada modelo executa uma tarefa, consumindo em média cerca de 9,9 milhões de Tokens e demorando cerca de 85 minutos.

Os resultados atualmente divulgados foram alargados a 20 modelos. O Grok 4.5 ficou no topo com uma pontuação média de 0.505, tendo concluído 13 tarefas. Das 46 tarefas, ainda há 29 em que nenhum modelo atingiu o critério de conclusão.

A maioria dos agentes consegue concluir alguns passos, mas com frequência esgota o limite de 90 minutos ou encerra antes de a tarefa estar concluída, não conseguindo realmente finalizar tarefas complexas.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado