广场
最新
热门
资讯
我的主页
发布
币 界 网
2026-05-06 11:38:09
关注
币界网消息,SWE-bench团队发布新基准ProgramBench,评测9个前沿AI模型在重建真实软件的任务中,完全通过率为0%。该基准由meta AI研究团队联合斯坦福、哈佛发布,任务要求AI agent仅凭一个编译好的二进制文件和使用文档,从零架构并实现完整代码库,复现原程序行为。基准包含200个任务,覆盖小型CLI工具到大型项目,测试结果显示,主指标「完全通过」无一达标,claude opus 4.7在辅助指标「几乎通过」上以3%领先,其余模型均为0%。
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见
声明
。
赞赏
点赞
评论
转发
分享
评论
请输入评论内容
请输入评论内容
评论
暂无评论
热门话题
查看更多
#
GUSD年化升至3.8%
77.45万 热度
#
预测世界杯阿根廷VS埃及
17.62万 热度
#
Strategy上周减持3588枚BTC
1463.44万 热度
#
GT二季度销毁257万枚
6.98万 热度
#
SK海力士ADR获超额认购
33.8万 热度
置顶
网站地图
币界网消息,SWE-bench团队发布新基准ProgramBench,评测9个前沿AI模型在重建真实软件的任务中,完全通过率为0%。该基准由meta AI研究团队联合斯坦福、哈佛发布,任务要求AI agent仅凭一个编译好的二进制文件和使用文档,从零架构并实现完整代码库,复现原程序行为。基准包含200个任务,覆盖小型CLI工具到大型项目,测试结果显示,主指标「完全通过」无一达标,claude opus 4.7在辅助指标「几乎通过」上以3%领先,其余模型均为0%。