幣界網消息,SWE-bench團隊發布新基準ProgramBench,評測9個前沿AI模型在重建真實軟體的任務中,完全通過率為0%。該基準由meta AI研究團隊聯合斯坦福、哈佛發布,任務要求AI agent僅憑一個編譯好的二進制文件和使用文件,從零架構並實現完整程式碼庫,復現原程序行為。基準包含200個任務,覆蓋小型CLI工具到大型專案,測試結果顯示,主指標「完全通過」無一達標,claude opus 4.7在輔助指標「幾乎通過」上以3%領先,其餘模型均為0%。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆