Tests React spécialisés : GPT-5.6 arrive premier à Sol, mais le meilleur score n’atteint que 43,1 %

robot
Création du résumé en cours
D’après Beating 监测, l’équipe Million, spécialisée dans les outils de développement React, a lancé ReactBench v1. L’objectif est de tester si les agents de programmation par IA peuvent accomplir de véritables tâches de développement React, tout en évitant d’introduire de nouveaux problèmes de code.

React est une bibliothèque JavaScript de premier plan utilisée pour construire des interfaces de sites web et d’applications. Auparavant, Million avait développé des outils open source comme React Scan, React Doctor et Million.js.

ReactBench a extrait 51 tâches réelles à partir de projets open source. En plus de vérifier si les fonctions peuvent s’exécuter, l’outil utilise plus de 400 règles pour rechercher des erreurs de programme, des problèmes de performance, d’accessibilité et de qualité du code.

GPT-5.6 Sol arrive en tête avec 43,1% de score global, tandis que Fable 5 affiche 41,2%. L’officiel indique que l’écart entre les deux est faible et qu’il n’est pas possible, pour l’instant, de confirmer que Sol est nettement plus performant. À configuration XHigh identique, le coût d’un test unique de Fable 5 est d’environ 6,3 fois celui de Sol.

Même avec la configuration ayant obtenu le meilleur score, les tâches menées à bien ne représentent pas la moitié. Sur 4 455 tests de développement de nouvelles fonctionnalités, l’ensemble des modèles a introduit 1 194 problèmes React, dont 77,5% sont des erreurs de programme ou des problèmes de sécurité.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé