最强研究Agent每7个对象仍只能完整查完1个

robot
摘要生成中
币界网消息,OneMillion_AI发布的研究显示,最强研究Agent在处理任务时,每7个对象中仅能完整查完1个。该研究基于perplexity发布的wandr基准,专门测试研究Agent在大规模资料搜集中的表现。任务要求先找全一批对象,再为每个对象补齐指定信息和可靠来源。500项任务共涉及17万余条记录。在6个参测系统中,perplexity search as code排名第一,但只有13.3%的对象同时满足信息完整和证据齐全。换算下来,每7个对象只有约1个能完整交付。结果显示,现有研究Agent已能找到不少网页,但在处理长名单和多字段任务时,仍容易漏对象、漏信息或缺少证据。
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 2
  • 2
  • 分享
评论
请输入评论内容
请输入评论内容
链上囤币党
· 4小时前
漏对象、缺证据、信息不全——这三连击把当前Agent的短板全暴露了。大规模任务里稳定性比峰值能力更重要,这点上大家还得卷。
回复0
Gas费精算师
· 4小时前
Perplexity排第一也才13.3%,这基准测试够残酷的。感觉Agent现在更像超级搜索工具,离真正的研究助手还差口气。
回复0