Grok 4,5 prend la tête du classement de l’endurance des agents de Tencent Hunyuan, plus de 60 % des tâches sont réalisées sans modèle

robot
Création du résumé en cours
Selon le suivi de Beating, l’équipe Tencent Hunyuan, en collaboration avec plusieurs universités, a publié LHTB, un benchmark conçu pour tester si les IA Agent peuvent accomplir en continu des tâches complexes dans un terminal.

Le benchmark comprend 46 tâches, couvrant des domaines tels que le génie logiciel, la reproduction d’expériences, les calculs scientifiques et l’analyse multimodale. Chaque tâche a une durée maximale de 90 minutes et nécessite généralement des centaines d’étapes d’exécution continues.

LHTB ne se limite pas à évaluer le succès ou l’échec final. Même si une tâche n’est accomplie qu’en partie, des points sont attribués en fonction de l’avancement réel. Des validateurs cachés vérifient les fichiers, les résultats de test et la sortie du programme ; une simple affirmation de l’Agent selon laquelle la tâche est terminée ne suffit pas.

La première version de l’article a testé 15 modèles. GPT-5.5 en a accompli 7, se classant au premier rang. Chaque modèle exécute une tâche, avec une consommation moyenne d’environ 9,9 millions de tokens et un temps d’environ 85 minutes.

Les résultats actuellement publics ont été étendus à 20 modèles. Grok 4.5 arrive en tête avec un score moyen de 0,505, en ayant accompli 13 tâches. Parmi les 46 tâches, 29 n’ont encore atteint aucun modèle qui satisfasse au standard de réussite.

La plupart des Agent peuvent réaliser une partie des étapes, mais ils épuisent souvent leurs 90 minutes, ou interrompent l’exécution avant que la tâche ne soit terminée, ce qui les empêche de mener à bien de vraies tâches complexes.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé