Спецтест React: GPT-5.6 занял первое место на Sol, но лучший результат составил всего 43,1%

robot
Генерация тезисов в процессе
Согласно мониторингу Beating, команда Million, специализирующаяся на инструментах для React-разработки, выпустила ReactBench v1: тестируется, смогут ли AI-программные агенты выполнить реальные задачи по разработке на React и при этом не добавить новые проблемы в код.

React — это популярная JavaScript-библиотека для создания веб-сайтов и интерфейсов приложений. Ранее Million разрабатывала такие открытые инструменты, как React Scan, React Doctor и Million.js.

ReactBench отобрал 51 реальную задачу из открытых проектов. Помимо проверки того, может ли функциональность работать, он использует более 400 правил для выявления программных ошибок, проблем с производительностью, аспектов доступности и качества кода.

GPT-5.6 Sol занял первое место с 43,1% итогового балла, Fable 5 — 41,2%. Официально отмечают, что разрыв между ними небольшой, и пока невозможно подтвердить, что Sol заметно сильнее. При одинаковой конфигурации XHigh стоимость одного теста для Fable 5 составляет примерно 6,3 раза больше, чем для Sol.

Даже в конфигурации с лучшими результатами успешно выполненных задач меньше половины. В ходе 4 455 тестов разработки новых функций модели в совокупности внесли 1 194 проблемы в React-код, из которых 77,5% — программные ошибки или проблемы безопасности.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено