專門開發 React 相關工具的 Million 團隊近日正式推出「ReactBench v1」,這是首個針對 AI 程式碼生成代理(Coding Agents)在真實 React 開發任務上的基準測試。測試結果顯示,即便是表現最佳的 GPT-5.6 Sol,成功率也僅有 43.1%,所有受測模型皆無法突破五成大關,顯示現有 AI 距離完美取代人類開發者仍有不小差距。 (前情提要:OpenAI 示範 GPT-Live 多任務能力:邊聊天邊查航班、天氣、股價,難題丟給 GPT-5.5) (背景補充:Visa 報告:AI 代理支付進入實用階段,穩定幣更適合高頻小額支付)
本文目錄
Toggle
隨著人工智慧(AI)編寫程式碼的能力日益強大,如何確保其產出的品質成為全球開發界關注的焦點。針對目前最主流的前端框架 React,曾開發出 React Scan 與 Million.js 的知名開源團隊 Million,近日正式推出了「ReactBench v1」基準測試。這項測試有別於過去僅要求 AI 通過基本單元測試的標準,而是將 AI 置於真實的開源專案情境中,嚴格檢視其生成的程式碼是否符合生產環境的高要求。
ReactBench v1 共篩選了 51 項來自真實開源專案的任務(Pull Requests)。測試主要分為「編寫(Write React)」與「修復(Fix React)」兩大核心能力。為了防止 AI 生成看似可行卻暗藏危機的程式碼,該測試導入了擁有超過 400 條檢查規則的「React Doctor」驗證器,專門揪出無效渲染(Renders)、效能低落、無障礙設計(Accessibility)缺失以及可維護性等潛在問題。官方強調,AI 代理不僅要完成功能,更不能引入任何新的程式碼錯誤。
根據官方公布的平均通過率(pass@1)成績,目前市場上的頂級 AI 模型表現仍有極大進步空間。由 OpenAI 推出的 GPT-5.6 Sol(Medium / XHigh 配置)以 43.1% 的綜合得分拿下第一;緊追在後的是 Anthropic 的 Claude Fable 5(XHigh),得分為 41.2%。官方表示兩者差距較小,暫時還無法確認 Sol 具有絕對優勢。
值得注意的是,即便名列前茅,所有受測模型的成功率皆不到 50%。數據顯示,在累積 4,455 次的新功能開發測試中,各模型總共引入了高達 1,194 個 React 相關問題,其中 77.5% 屬於嚴重的程式錯誤(Bug)或安全性問題,尤其在列表渲染與 Hook 規則的正確性上最容易栽跟頭。
儘管頂級模型表現差強人意,但在成本考量上則有亮點。報告指出,GPT-5.6 Terra(Medium)的得分達 38.0%,表現相當接近頂尖水準,但同為 XHigh 配置時,Fable 5 的單次測試成本卻約為 Sol 的 6.3 倍。這顯示出對於需要大量生成程式碼的企業而言,選擇中階模型可能具備極佳的性價比。
React 目前佔據了約 70% 使用 JavaScript 框架網站的市佔率。開發團隊表示,若開發者盲目相信 AI 生成的 React 程式碼,微小的缺陷很容易在生產環境中被放大,甚至導致系統當機、轉換率下降與營收損失。ReactBench 的推出,正是為了替全球開發者把關,確保未來的 AI 代理能真正寫出安全、合規且高效的優質程式碼。
123.59萬 熱度
4.33萬 熱度
64.42萬 熱度
92.16萬 熱度
2915.06萬 熱度
ReactBench 評測 AI 程式碼生成代理:GPT-5.6 Sol 以 43.1% 奪魁,主流大模型狂踩 Bug 地雷
專門開發 React 相關工具的 Million 團隊近日正式推出「ReactBench v1」,這是首個針對 AI 程式碼生成代理(Coding Agents)在真實 React 開發任務上的基準測試。測試結果顯示,即便是表現最佳的 GPT-5.6 Sol,成功率也僅有 43.1%,所有受測模型皆無法突破五成大關,顯示現有 AI 距離完美取代人類開發者仍有不小差距。
(前情提要:OpenAI 示範 GPT-Live 多任務能力:邊聊天邊查航班、天氣、股價,難題丟給 GPT-5.5)
(背景補充:Visa 報告:AI 代理支付進入實用階段,穩定幣更適合高頻小額支付)
本文目錄
Toggle
隨著人工智慧(AI)編寫程式碼的能力日益強大,如何確保其產出的品質成為全球開發界關注的焦點。針對目前最主流的前端框架 React,曾開發出 React Scan 與 Million.js 的知名開源團隊 Million,近日正式推出了「ReactBench v1」基準測試。這項測試有別於過去僅要求 AI 通過基本單元測試的標準,而是將 AI 置於真實的開源專案情境中,嚴格檢視其生成的程式碼是否符合生產環境的高要求。
嚴格檢驗:不僅能跑,還不能有 Bug
ReactBench v1 共篩選了 51 項來自真實開源專案的任務(Pull Requests)。測試主要分為「編寫(Write React)」與「修復(Fix React)」兩大核心能力。為了防止 AI 生成看似可行卻暗藏危機的程式碼,該測試導入了擁有超過 400 條檢查規則的「React Doctor」驗證器,專門揪出無效渲染(Renders)、效能低落、無障礙設計(Accessibility)缺失以及可維護性等潛在問題。官方強調,AI 代理不僅要完成功能,更不能引入任何新的程式碼錯誤。
GPT-5.6 險勝 Claude,整體成功率皆不到一半
根據官方公布的平均通過率(pass@1)成績,目前市場上的頂級 AI 模型表現仍有極大進步空間。由 OpenAI 推出的 GPT-5.6 Sol(Medium / XHigh 配置)以 43.1% 的綜合得分拿下第一;緊追在後的是 Anthropic 的 Claude Fable 5(XHigh),得分為 41.2%。官方表示兩者差距較小,暫時還無法確認 Sol 具有絕對優勢。
值得注意的是,即便名列前茅,所有受測模型的成功率皆不到 50%。數據顯示,在累積 4,455 次的新功能開發測試中,各模型總共引入了高達 1,194 個 React 相關問題,其中 77.5% 屬於嚴重的程式錯誤(Bug)或安全性問題,尤其在列表渲染與 Hook 規則的正確性上最容易栽跟頭。
性價比成關鍵,AI 輔助開發仍具潛藏風險
儘管頂級模型表現差強人意,但在成本考量上則有亮點。報告指出,GPT-5.6 Terra(Medium)的得分達 38.0%,表現相當接近頂尖水準,但同為 XHigh 配置時,Fable 5 的單次測試成本卻約為 Sol 的 6.3 倍。這顯示出對於需要大量生成程式碼的企業而言,選擇中階模型可能具備極佳的性價比。
React 目前佔據了約 70% 使用 JavaScript 框架網站的市佔率。開發團隊表示,若開發者盲目相信 AI 生成的 React 程式碼,微小的缺陷很容易在生產環境中被放大,甚至導致系統當機、轉換率下降與營收損失。ReactBench 的推出,正是為了替全球開發者把關,確保未來的 AI 代理能真正寫出安全、合規且高效的優質程式碼。