Крипто-новини з BitJie.com повідомляють, що дослідження, опубліковане OneMillion_AI, показує: під час виконання задач найсильніший дослідницький Agent у середньому з кожних 7 об’єктів здатен повністю опрацювати лише 1. Це дослідження ґрунтується на орієнтирі wandr від perplexity і спеціально тестує здатність дослідницьких Agent працювати з великими обсягами інформаційного пошуку. Вимоги до завдання полягають у тому, щоб спочатку знайти повний набір об’єктів, а потім для кожного об’єкта доповнити визначену інформацію та надійні джерела. Усього 500 завдань охоплюють понад 170 000 записів. У 6 системах, які брали участь у тестуванні, perplexity search as code посів перше місце за рейтингом, але лише 13,3% об’єктів одночасно відповідають повноті інформації та наявності достатніх доказів. У перерахунку це означає, що з кожних 7 об’єктів приблизно 1 може бути повністю виконаний і наданий. Результати показують, що наявні дослідницькі Agent уже можуть знаходити багато вебсторінок, але під час роботи з довгими списками та багатопольовими завданнями все ще часто пропускають об’єкти, пропускають інформацію або не мають потрібних доказів.

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

5 лайків

Нагородити
5
2
2
Поділіться

Прокоментувати

Додати коментар

ChainHodler

· 4год тому

Випущені об’єкти, нестача доказів, неповна інформація — ці три удари повністю оголюють слабкі сторони поточного агента. У масштабних завданнях стабільність важливіша за пікову продуктивність — з цього приводу всім ще доведеться старатися.

Переглянути оригіналвідповісти на0

GasActuary

· 4год тому

Розчаровуючи, що Perplexity посідає перше місце, але це лише 13,3% — цей бенчмарк надто жорстокий. Відчуття таке, що агент зараз більше схожий на суперпошуковий інструмент, а до справжнього дослідницького помічника ще бракує кількох ковтків.

Переглянути оригіналвідповісти на0

Популярні теми
Дізнатися більше
#
PreIPOsSeason2OpenAISubscription
1,19M Популярність
#
PredictWorldCup🇫🇷vs🇪🇸
202,84K Популярність
#
IsraelStrikesIranBTCPlunges
72,19K Популярність
#
MillionDepositCashback
1,52M Популярність
#
SKHynixADRPremiumSurges
284,54K Популярність

Закріплено

карта сайту

Найсильніший дослідницький агент: кожні 7 об’єктів все ще може повністю перевірити лише 1

Популярні теми

PreIPOsSeason2OpenAISubscription

PredictWorldCup🇫🇷vs🇪🇸

IsraelStrikesIranBTCPlunges

MillionDepositCashback

SKHynixADRPremiumSurges

Закріплено