Grok 4.5 lidera la tabla de resistencia de agentes de Tencent Hunyuan, y más de seis de cada diez tareas se completan sin un modelo

robot
Generación de resúmenes en curso
Según el monitoreo de Beating, el equipo de Tencent Hunyuan, junto con varias universidades, publicó LHTB, un sistema diseñado para probar si los AI Agent pueden completar tareas complejas de forma continua dentro de la terminal.

El benchmark incluye 46 tareas, que abarcan ingeniería de software, reproducción de experimentos, cálculo científico y análisis multimodal, entre otros. Cada tarea tiene un tiempo máximo de ejecución de 90 minutos y, por lo general, requiere una operación continua de varios cientos de pasos.

LHTB no solo evalúa el resultado final. Si se completa una parte de la tarea, también se otorgan puntos según el progreso real. Los validadores ocultos revisan archivos, resultados de pruebas y la salida del programa; que el Agent afirme haber terminado no cuenta.

La primera versión del trabajo probó 15 modelos. GPT-5.5 completó 7 tareas y ocupó el primer lugar. Cada modelo ejecuta una tarea; en promedio, consume aproximadamente 990 mil Token y tarda alrededor de 85 minutos.

Los resultados públicos actuales se han ampliado a 20 modelos. Grok 4.5 lidera con una puntuación media de 0,505 y completa 13 tareas. De las 46 tareas, aún 29 no han sido completadas bajo el estándar requerido por ningún modelo.

La mayoría de los Agent puede completar algunos pasos, pero con frecuencia agota los 90 minutos o se detiene antes de que la tarea esté terminada, lo que impide realmente finalizar tareas complejas.
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado