幣界網のニュースによると、OneMillion_AIが発表した調査研究では、最強の研究Agentがタスクを処理する際、7つの対象のうち1つだけしか完全に調べ切れないことが示されました。この研究はperplexityが公開するwandrベンチマークに基づき、大規模な資料収集における研究Agentの性能を特にテストしています。タスクは、まず一群の対象をすべて見つけ、その後各対象ごとに指定された情報と信頼できる根拠を補完することが求められます。500件のタスクで、17万件余りの記録が関わっています。6つの参加システムのうち、perplexity search as codeはランキング1位ですが、情報が完全で証拠も揃っている対象を同時に満たすのは13.3%しかありません。換算すると、7つの対象のうち約1つだけが完全に納品できます。結果は、既存の研究Agentが多くのWebページを見つけられる一方で、長いリストや複数フィールドのタスクを扱う場合には、対象の取りこぼし、情報の漏れ、あるいは証拠不足が起きやすいことを示しています。
最強のリサーチエージェントは7つの対象ごとに、まだ1つしか完全に調べられない