Спеціальні тести React: GPT-5.6 Sol посів 1-е місце, але найкращий результат лише 43,1%

robot
Генерація анотацій у процесі
Згідно з моніторингом Beating, команда Million, яка спеціалізується на інструментах для розробки React, представила ReactBench v1 — щоб протестувати, чи може AI-платформа для програмування Agent виконати реальні задачі з розробки React, і при цьому уникнути появи нових проблем із кодом.

React — це провідна JavaScript-бібліотека для створення вебсайтів і інтерфейсів App. Раніше Million розробляла такі open-source інструменти, як React Scan, React Doctor і Million.js.

ReactBench відібрала 51 реальне завдання з open-source проєктів. Окрім перевірки того, чи може функціонал працювати, вона також за допомогою 400+ правил виявляє проблеми з програмними помилками, продуктивністю, доступністю та якістю коду.

GPT-5.6 Sol із загальним результатом 43,1% посідає перше місце, Fable 5 — 41,2%. Офіційно заявляють, що різниця між ними невелика, тож наразі неможливо підтвердити, що Sol є помітно сильнішим. За однакової конфігурації XHigh вартість одного тесту для Fable 5 становить приблизно 6,3 раза більше, ніж для Sol.

Навіть у конфігурації з найвищими результатами успішно виконаних завдань менше ніж половина. У 4455 тестах розробки нових функцій моделі разом внесли 1194 проблеми з React, з яких 77,5% — це програмні помилки або питання безпеки.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено