ReactBench 评测 AI 代码生成代理:GPT-5.6 Sol 以 43.1% 夺魁,主流大模型狂踩 Bug 地雷

專门开发 React 相关工具的 Million 團队近日正式推出「ReactBench v1」,这是首个針对 AI 程式碼生成代理(Coding Agents)在真实 React 开发任務上的基準測試。測試結果顯示,即便是表现最佳的 GPT-5.6 Sol,成功率也僅有 43.1%,所有受測模型皆无法突破五成大关,顯示现有 AI 距离完美取代人類开发者仍有不小差距。
(前情提要:OpenAI 示範 GPT-Live 多任務能力:边聊天边查航班、天气、股价,难題丟給 GPT-5.5)
(背景補充:Visa 报告:AI 代理支付进入实用階段,穩定币更适合高频小額支付)

本文目錄

Toggle

  • 嚴格檢验:不僅能跑,还不能有 Bug
  • GPT-5.6 险勝 Claude,整體成功率皆不到一半
  • 性价比成关鍵,AI 輔助开发仍具潛藏风险

随著人工智慧(AI)編寫程式碼的能力日益強大,如何確保其产出的品质成为全球开发界关注的焦点。針对目前最主流的前端框架 React,曾开发出 React Scan 与 Million.js 的知名开源團队 Million,近日正式推出了「ReactBench v1」基準測試。这項測試有別於过去僅要求 AI 通过基本單元測試的標準,而是將 AI 置於真实的开源專案情境中,嚴格檢視其生成的程式碼是否符合生产環境的高要求。

嚴格檢验:不僅能跑,还不能有 Bug

ReactBench v1 共篩选了 51 項来自真实开源專案的任務(Pull Requests)。測試主要分为「編寫(Write React)」与「修復(Fix React)」两大核心能力。为了防止 AI 生成看似可行卻暗藏危机的程式碼,該測試導入了擁有超过 400 條檢查規則的「React Doctor」验证器,專门揪出无效渲染(Renders)、效能低落、无障礙设计(Accessibility)缺失以及可維護性等潛在问題。官方強调,AI 代理不僅要完成功能,更不能引入任何新的程式碼错誤。

GPT-5.6 险勝 Claude,整體成功率皆不到一半

根據官方公布的平均通过率(pass@1)成績,目前市场上的顶級 AI 模型表现仍有極大进步空间。由 OpenAI 推出的 GPT-5.6 Sol(Medium / XHigh 配置)以 43.1% 的綜合得分拿下第一;緊追在后的是 Anthropic 的 Claude Fable 5(XHigh),得分为 41.2%。官方表示两者差距较小,暫时还无法確认 Sol 具有絕对優勢。

值得注意的是,即便名列前茅,所有受測模型的成功率皆不到 50%。數據顯示,在累積 4,455 次的新功能开发測試中,各模型總共引入了高达 1,194 个 React 相关问題,其中 77.5% 屬於嚴重的程式错誤(Bug)或安全性问題,尤其在列表渲染与 Hook 規則的正確性上最容易栽跟头。

性价比成关鍵,AI 輔助开发仍具潛藏风险

儘管顶級模型表现差強人意,但在成本考量上則有亮点。报告指出,GPT-5.6 Terra(Medium)的得分达 38.0%,表现相当接近顶尖水準,但同为 XHigh 配置时,Fable 5 的單次測試成本卻约为 Sol 的 6.3 倍。这顯示出对於需要大量生成程式碼的企业而言,选擇中階模型可能具備極佳的性价比。

React 目前佔據了约 70% 使用 JavaScript 框架網站的市佔率。开发團队表示,若开发者盲目相信 AI 生成的 React 程式碼,微小的缺陷很容易在生产環境中被放大,甚至導致系统当机、转換率下降与營收損失。ReactBench 的推出,正是为了替全球开发者把关,確保未来的 AI 代理能真正寫出安全、合規且高效的優质程式碼。

V1.68%
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论