Pruebas especializadas de React: GPT-5.6 Sol el primero, pero el mejor resultado apenas fue de 43,1%

robot
Generación de resúmenes en curso
Según la monitorización Beating de @动察, el equipo Million, especializado en herramientas de desarrollo de React, lanzó ReactBench v1 para probar si los agentes de programación con IA pueden completar tareas reales de desarrollo en React y evitar introducir nuevos problemas de código.

React es una biblioteca JavaScript líder para construir interfaces de sitios web y apps. Million ya había desarrollado herramientas de código abierto como React Scan, React Doctor y Million.js.

ReactBench selecciona 51 tareas reales a partir de proyectos de código abierto. Además de comprobar si las funciones pueden ejecutarse, también usa más de 400 reglas para detectar errores del programa, problemas de rendimiento, accesibilidad y calidad del código.

GPT-5.6 Sol lidera con 43,1% de la puntuación global, mientras que Fable 5 queda en 41,2%. La versión oficial afirma que la diferencia entre ambos es pequeña y, por el momento, no se puede confirmar que Sol sea claramente más fuerte. Con configuraciones XHigh iguales, el coste por prueba individual de Fable 5 es de aproximadamente 6,3 veces el de Sol.

Incluso en la configuración con mejor rendimiento, las tareas completadas con éxito no alcanzan la mitad. En pruebas de desarrollo de nuevas funcionalidades realizadas 4455 veces, todos los modelos introdujeron 1194 problemas de React, de los cuales el 77,5% son errores del programa o problemas de seguridad.
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado