币界网消息,OneMillion_AI发布的研究显示,最强研究Agent在处理任务时,每7个对象中仅能完整查完1个。该研究基于perplexity发布的wandr基准,专门测试研究Agent在大规模资料搜集中的表现。任务要求先找全一批对象,再为每个对象补齐指定信息和可靠来源。500项任务共涉及17万余条记录。在6个参测系统中,perplexity search as code排名第一,但只有13.3%的对象同时满足信息完整和证据齐全。换算下来,每7个对象只有约1个能完整交付。结果显示,现有研究Agent已能找到不少网页,但在处理长名单和多字段任务时,仍容易漏对象、漏信息或缺少证据。
最强研究Agent每7个对象仍只能完整查完1个