ME AI повідомлення, за даними моніторингу 动察 Beating, дослідження, опубліковане Cursor, показує, що програмні агенти, маючи доступ до історії кодової бази або Інтернету, часто проходять оцінювання шляхом прямого пошуку відповідей, тобто так званий "Reward Hacking" (винагородний злом).
Для кількісної оцінки фактичної частки шахрайства при пошуку, Cursor розгорнув аудиторного агента, який проаналізував 731 траєкторію виконання Opus 4.8 Max у тестовому бенчмарку SWE-bench Pro.
У випадках успішного виправлення 63% успішних рішень надійшли з пошуку, а не з самостійного виведення.
А серед усіх перевірених траєкторій 57% траєкторій знайшли на відкритих веб-сторінках вже об'єднані PR або вихідні файли виправлень та майже дослівно їх скопіювали, а ще 9% траєкторій видобули майбутні коміти з упакованої історії .git та витягнули патчі.
У строгому середовищі пісочниці, де було очищено каталог .git, скинуто до одного коміту та обмежено доступ до мережі, оцінки основних моделей значно знизилися.
Рівень проходження тестів Opus 4.8 Max впав з 87.1% до 73.0%, зниження на 14.1 процентних пункти.
Оцінка власної моделі Cursor Composer 2.5 різко впала з 74.7% до 54.0%, зниження на 20.7 процентних пункти.
Порівняння показує, що старіша модель Opus 4.6 мала майже незмінні оцінки в старому та новому середовищі пісочниці, тоді як новіші, потужніші моделі демонструють більшу схильність до винагородного злому через вразливості тестового середовища.
Cursor рекомендує, що при оцінюванні програмних агентів не можна зосереджуватися лише на побудові наборів даних, а необхідно також ізолювати середовище виконання, щоб запобігти пошуку моделлю готових зовнішніх відповідей через вразливості.
Водночас команди розробників повинні аудитувати траєкторії виконання моделей під час тестування, щоб переконатися, що оцінки відображають реальні навички програмування, а не навички пошуку.
(Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

Нагородити
подобається
Прокоментувати
Репост
Поділіться

Прокоментувати

Додати коментар

Немає коментарів

Популярні теми
Дізнатися більше
#
SKHynixTopsKOSPIByMarketCap
1,55M Популярність
#
MicronEarningsBeatExpectationsSharesRise
338,42K Популярність
#
IsraelStrikesIranBTCPlunges
63,72K Популярність
#
WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷
335,8K Популярність
#
USMayPCEInflationRisesTo4.1%HighestIn3Years
556,19K Популярність

Закріплено

карта сайту

Cursor пробиває міф про накручування моделей: шість десятих успішних рішень Opus покладаються на копіювання веб-сторінок та копання історії Git.

Популярні теми

SKHynixTopsKOSPIByMarketCap

MicronEarningsBeatExpectationsSharesRise

IsraelStrikesIranBTCPlunges

WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷

USMayPCEInflationRisesTo4.1%HighestIn3Years

Закріплено