Grok 4,5 chega ao topo do ranking de resistência de agentes da Tencent Hunyuan, superando 60% das tarefas com conclusão sem modelo

De acordo com o monitoramento Beating, a equipe Tencent Hunyuan, em conjunto com várias universidades, publicou o LHTB, que foi criado especificamente para testar se um AI Agent consegue concluir tarefas complexas de forma contínua no terminal.

O benchmark inclui 46 tarefas, cobrindo áreas como engenharia de software, reprodução de experimentos, computação científica e análises multimodais. Cada tarefa pode durar no máximo 90 minutos e, normalmente, exige operações contínuas por centenas de passos.

O LHTB não avalia apenas o resultado final. Se a tarefa for concluída parcialmente, também é atribuído pontuação de acordo com o progresso real. Validadores ocultos verificam arquivos, resultados dos testes e saídas do programa; se o Agent apenas disser que concluiu, isso não é considerado.

A primeira versão do artigo testou 15 modelos. GPT-5.5 concluiu 7 tarefas, ficando em 1º lugar. Cada modelo executou uma tarefa, com consumo médio de cerca de 9,9 milhões de Tokens e duração aproximada de 85 minutos.

Os resultados públicos atuais foram ampliados para 20 modelos. Grok 4.5 lidera com pontuação média de 0,505, tendo concluído 13 tarefas. Das 46 tarefas, 29 ainda não tiveram nenhum modelo que atingisse o critério de conclusão.

A maioria dos Agents consegue executar partes das etapas, mas frequentemente esgota os 90 minutos ou encerra o trabalho antes de a tarefa estar concluída, incapaz de realmente finalizar tarefas complexas.