最強研究型 Agent 每 7 個對象仍只能完整查完 1 個

robot
摘要生成中
币界网消息,OneMillion_AI 發布的研究顯示,最強研究 Agent 在處理任務時,每 7 個對象中僅能完整查完 1 個。該研究基於 perplexity 發布的 wandr 基準,專門測試研究 Agent 在大規模資料蒐集中的表現。任務要求先找全一批對象,再為每個對象補齊指定資訊和可靠來源。500 項任務共涉及 17 萬餘條記錄。在 6 個參測系統中,perplexity search as code 排名第一,但只有 13.3% 的對象同時滿足資訊完整和證據齊全。換算下來,每 7 個對象只有約 1 個能完整交付。結果顯示,現有研究 Agent 已能找到不少網頁,但在處理長名單和多欄位任務時,仍容易漏對象、漏資訊或缺少證據。
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 2
  • 2
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
链上囤币党
· 4小時前
漏對象、缺證據、資訊不全——這三連擊把目前 Agent 的短板全都暴露了。在大規模任務中,穩定性比峰值能力更重要,這點上大家還得拚。
查看原文回復0
Gas费精算师
· 4小時前
Perplexity 排第一也才 13.3%,这基准测试够残酷的。感觉 Agent 现在更像超级搜索工具,离真正的研究助手还差口气。
查看原文回復0