Beating 監視の動向調査、React 開発ツールに特化する Million チームが ReactBench v1 をリリース。AI プログラミング Agent が実際の React 開発タスクを完了できるか、また新たなコード問題を引き起こさないかをテストする。
React は Web サイトやアプリの画面を構築するための、主流の JavaScript ライブラリである。Million はこれまで React Scan、React Doctor、Million.js などのオープンソースツールを開発してきた。
ReactBench はオープンソースプロジェクトから 51 件の実タスクを抽出した。機能が動作するかの確認に加え、400 件以上のルールでプログラムエラー、パフォーマンス、アクセシビリティ、コード品質の問題を調べる。
GPT-5.6 Sol は総合得点 43.1% で首位、Fable 5 は 41.2%。公式は両者の差は小さいとしており、現時点では Sol が明らかにより強いとは確認できないとしている。同じ XHigh 設定の場合、Fable 5 の 1 回あたりのテストコストは Sol の約 6.3 倍。
最高の成績構成でさえ、成功して完了したタスクは半分に満たない。4455 回の新機能開発テストで、各モデルが合計 1194 件の React 問題を導入し、そのうち 77.5% はプログラムエラーまたはセキュリティ問題だった。
1.3M 人気度
75.38K 人気度
72.24K 人気度
927.32K 人気度
29.15M 人気度
React 専門領域の実測：GPT-5.6 Sol が1位だが、最高成績はわずか 43.1%
Beating 監視の動向調査、React 開発ツールに特化する Million チームが ReactBench v1 をリリース。AI プログラミング Agent が実際の React 開発タスクを完了できるか、また新たなコード問題を引き起こさないかをテストする。
React は Web サイトやアプリの画面を構築するための、主流の JavaScript ライブラリである。Million はこれまで React Scan、React Doctor、Million.js などのオープンソースツールを開発してきた。
ReactBench はオープンソースプロジェクトから 51 件の実タスクを抽出した。機能が動作するかの確認に加え、400 件以上のルールでプログラムエラー、パフォーマンス、アクセシビリティ、コード品質の問題を調べる。
GPT-5.6 Sol は総合得点 43.1% で首位、Fable 5 は 41.2%。公式は両者の差は小さいとしており、現時点では Sol が明らかにより強いとは確認できないとしている。同じ XHigh 設定の場合、Fable 5 の 1 回あたりのテストコストは Sol の約 6.3 倍。
最高の成績構成でさえ、成功して完了したタスクは半分に満たない。4455 回の新機能開発テストで、各モデルが合計 1194 件の React 問題を導入し、そのうち 77.5% はプログラムエラーまたはセキュリティ問題だった。