Grok 4.5 занял первое место в рейтинге устойчивости Tencent Hunyuan Agent, более чем в 60% задач модель не потребовалась

По данным мониторинга Beating, команда Tencent Hunyuan совместно с несколькими вузами опубликовала LHTB — специально для проверки того, может ли AI Agent в терминале непрерывно выполнять сложные задачи.

Бенчмарк включает 46 заданий, охватывающих разработку ПО, воспроизведение экспериментов, научные вычисления и мультимодальный анализ и т. д. Каждое задание максимально работает 90 минут и обычно требует непрерывного выполнения сотен шагов.

LHTB оценивает не только итоговую победу/провал. Задания засчитывают и частичное выполнение — баллы начисляются по фактическому прогрессу. Скрытые валидаторы проверяют файлы, результаты тестов и вывод программы, и утверждение Agent о выполнении не засчитывается.

В первом варианте статьи протестировали 15 моделей. GPT-5.5 справился с 7 заданиями и занял первое место. Каждая модель выполняла по одному заданию: в среднем потребляла около 9,9 млн Token и тратила примерно 85 минут.

Текущие публичные результаты расширили до 20 моделей. Grok 4.5 возглавил рейтинг со средним баллом 0,505, выполнив 13 заданий. Из 46 задач по-прежнему 29 не достигли стандарта выполнения ни одной моделью.

Большинство Agent способны выполнить часть шагов, но часто исчерпывают лимит в 90 минут или прекращают работу, пока задание еще не завершено, из-за чего сложные задачи так и не удается довести до конца.