ReactBench оцінювання AI-агентів для генерації коду: GPT-5.6 Sol перемагає з 43,1%, провідні великі моделі з шаленою точністю наступають на баги та міни

Команда Million, яка спеціалізується на розробці інструментів, пов’язаних із React, нещодавно офіційно представила «ReactBench v1» — перший бенчмарк, орієнтований на AI-агентів для генерації коду (Coding Agents) у реальних задачах розробки на React. Результати тесту показали, що навіть найкраща модель GPT-5.6 Sol має лише 43,1% успішності; усі протестовані моделі не змогли подолати поріг у 50%, що свідчить: нинішній рівень AI ще не дає змоги ідеально замінити людей-розробників.
（Передісторія: OpenAI продемонструвала багатозадачні можливості GPT-Live: під час чату одночасно шукає рейси, погоду та котирування акцій; складні задачі віддаються GPT-5.5）
（Додаткова довідка: звіт Visa: AI-агенти для платежів переходять у практичну фазу, а стейблкоїни краще підходять для високочастотних дрібних платежів）

Зміст

Toggle

• Строге тестування: має не лише запускатися, а й не містити Bug
• GPT-5.6 майже виграє у Claude, загальна успішність — нижче половини
• Ціна/якість має вирішальне значення, AI-підтримка в розробці досі несе приховані ризики

У міру того як можливості штучного інтелекту (AI) у написанні коду стають дедалі потужнішими, питання про те, як гарантувати якість того, що він створює, перетворюється на фокус уваги для розробницької спільноти в усьому світі. З огляду на нинішній найпопулярніший фронтенд-фреймворк React, відома open-source команда Million, яка раніше створювала React Scan і Million.js, нещодавно офіційно випустила бенчмарк «ReactBench v1». Цей тест відрізняється від попередніх підходів, які лише вимагали, щоб AI проходив базові модульні тести: тут AI розміщують у контексті реального open-source проєкту, і суворо перевіряють, чи створений ним код відповідає високим вимогам виробничого середовища.

Строге тестування: має не лише запускатися, а й не містити Bug

ReactBench v1 відібрав 51 задачу (Pull Requests) з реальних open-source проєктів. Тест поділяється на два ключові вміння: «написання (Write React)» і «виправлення (Fix React)». Щоб запобігти появі коду, який виглядає працездатним, але приховує загрозу, цей тест вводить валідактор «React Doctor» із понад 400 правилами перевірки — він спеціально знаходить невалідні рендери (Renders), проблеми продуктивності, відсутність елементів безбар’єрного дизайну (Accessibility) та інші потенційні недоліки на рівні підтримуваності. Офіційно підкреслюється, що AI-агент не лише має виконувати функції, а й не повинен вводити жодних нових помилок у коді.

GPT-5.6 ледь не обганяє Claude, загальна успішність — нижче половини

Згідно з оприлюдненим середнім показником проходження (pass@1), топові AI-моделі на ринку все ще мають великий простір для покращення. GPT-5.6 Sol від OpenAI (конфігурації Medium / XHigh) з комплексним балом 43,1% посіла перше місце; одразу за нею — Claude Fable 5 від Anthropic (XHigh) зі значенням 41,2%. Офіційно зазначають, що різниця між ними невелика, і наразі неможливо підтвердити, що Sol має абсолютну перевагу.

Варто зазначити, що навіть у лідерах успішність усіх протестованих моделей залишається нижче 50%. Дані показують, що під час накопичених 4 455 випробувань із розробки нових функцій моделі загалом внесли аж 1 194 проблеми, пов’язані з React; 77,5% з них належать до критичних програмних помилок (Bug) або проблем із безпекою. Особливо часто збої трапляються в коректності рендерингу списків і в дотриманні правил для Hook.

Ціна/якість має вирішальне значення, AI-підтримка в розробці досі несе приховані ризики

Хоча топові моделі й демонструють вражаючі результати, у площині витрат є свої плюси. У звіті вказано, що GPT-5.6 Terra (Medium) набрала 38,0%, що дуже близько до рівня топа; однак за конфігурації XHigh вартість одного тесту для Fable 5 становить приблизно 6,3 раза від Sol. Це свідчить, що для компаній, яким потрібно генерувати великі обсяги коду, вибір середніх моделей може мати надзвичайно вигідне співвідношення ціни та якості.

Наразі React займає близько 70% частки вебсайтів, що використовують JavaScript-фреймворки. Команди розробників зазначають, що якщо розробники сліпо довіряють React-коду, згенерованому AI, то навіть дрібні дефекти легко масштабуються в production-середовищі — аж до зупинки системи, падіння конверсії та втрати доходів. Запуск ReactBench якраз і потрібен, щоб допомогти глобальним розробникам тримати ситуацію під контролем, гарантувати, що майбутні AI-агенти справді зможуть писати безпечний, комплаєнсний і ефективний якісний код.