Сообщает CoinDesk: исследование, опубликованное OneMillion_AI, показало, что у самых сильных исследовательских Agent при выполнении задач способность полностью «закрывать» информацию сохраняется лишь для 1 из каждых 7 объектов. Исследование основано на бенчмарке wandr, выпущенном на базе perplexity, и специально тестирует исследовательские Agent в сценариях сбора данных из больших массивов материалов. Задачи требуют сначала собрать целиком одну партию объектов, а затем для каждого объекта дополнить указанную информацию и обеспечить надежные источники. В 500 задачах было задействовано более 170 тыс. записей. В шести системах-участниках perplexity search as code заняла 1-е место, однако только 13,3% объектов одновременно соответствовали требованиям полной информационности и наличия достаточных доказательств. В пересчете это означает, что из каждых 7 объектов примерно 1 способен полностью быть сдан. Результаты показывают: существующие исследовательские Agent уже могут находить много веб-страниц, но при работе с длинными списками и многополевыми задачами по-прежнему часто упускают объекты, пропускают информацию или не предоставляют доказательства.

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

5 Лайков

Награда
5
2
2
Поделиться

комментарий

Добавить комментарий

ChainHodler

· 4ч назад

Слабые места текущего агента раскрылись этой тройкой: «утечки объектов, отсутствие доказательств, неполная информация». В больших задачах стабильность важнее пиковых возможностей — и тут всем ещё предстоит соревноваться.

Посмотреть ОригиналОтветить0

GasActuary

· 4ч назад

Perplexity занимает первое место — и это всего 13,3%. Бенчмарк довольно жестокий. Похоже, что сейчас Agent больше похож на суперпоисковый инструмент, а до настоящего исследовательского помощника ему не хватает совсем немного.

Посмотреть ОригиналОтветить0

Популярные темы
Подробнее
#
PreIPOsSeason2OpenAISubscription
1,19M Популярность
#
PredictWorldCup🇫🇷vs🇪🇸
202,84K Популярность
#
IsraelStrikesIranBTCPlunges
72,19K Популярность
#
MillionDepositCashback
1,52M Популярность
#
SKHynixADRPremiumSurges
284,54K Популярность

Закреплено

Карта сайта

Самый мощный исследовательский агент: каждый 7 объектов он всё ещё может полностью проверить только 1

Популярные темы

PreIPOsSeason2OpenAISubscription

PredictWorldCup🇫🇷vs🇪🇸

IsraelStrikesIranBTCPlunges

MillionDepositCashback

SKHynixADRPremiumSurges

Закреплено