Grok 4.5 піднявся на вершину рейтингу витривалості агентів Tencent Hunyuan, понад 60% завдань виконано без використання моделі

robot
Генерація анотацій у процесі
За моніторингом Beating, команда Tencent Hunyuan у співпраці з кількома університетами опублікувала LHTB, спеціально щоб перевірити, чи може AI-агент у терміналі послідовно виконувати складні завдання.

Бенчмарк містить 46 завдань, охоплюючи такі сфери, як розробка програмного забезпечення, відтворення експериментів, наукові обчислення та мультимодальний аналіз. Кожне завдання максимально триває 90 хвилин і зазвичай потребує безперервних дій упродовж сотень кроків.

LHTB оцінює не лише кінцеву перемогу чи поразку. Якщо завдання виконане лише частково, бали нараховуються відповідно до фактичного прогресу. Приховані верифікатори перевірятимуть файли, результати тестів і вивід програми; те, що агент стверджує про завершення, не враховується.

Першу версію статті протестували на 15 моделях. GPT-5.5 виконав 7 завдань і посів перше місце. Кожна модель виконувала одне завдання, у середньому витрачаючи близько 99000000 Token і витрачаючи приблизно 85 хвилин.

Наразі оприлюднені результати розширені до 20 моделей. Grok 4.5 із середнім балом 0.505 очолив рейтинг, виконавши 13 завдань. Із 46 завдань досі 29 не має жодної моделі, яка досягла б стандарту завершення.

Більшості агентів вдається виконати частину кроків, але вони часто вичерпують 90 хвилин або достроково припиняють роботу, ще не завершивши завдання, тож не можуть по-справжньому довести складні завдання до кінця.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено