Исследователь: все основные тесты ИИ можно «обмануть», данные рейтингов могут быть серьезно искажены

Китайский сайт о криптовалютах сообщает, что 10 апреля (UTC+8) исследователь ИИ Хао Ванг опубликовал исследование, в котором раскрыты системные уязвимости в нескольких самых авторитетных в отрасли тестах ИИ, включая SWE-bench Verified и Terminal-Bench — их команда создала агента, который без решения каких-либо реальных задач набрал максимальный балл 100% на обеих тестах. Примеры случаев следующие: SWE-bench Verified: в репозитории кода внедрен 10-строчный хук pytest, который перед запуском теста автоматически подделывает все результаты, выставляя “пройдено”, при этом система оценки не обнаруживает подделку, и все 500 вопросов получают максимальный балл; Terminal-Bench: хотя этот тест защищает файлы тестов, он не защищает системные двоичные файлы. Агент заменил curl, перехватил процесс установки зависимостей валидатора и осуществил низкоуровневое вмешательство; WebArena: правильные ответы хранятся в локальном JSON-конфигурационном файле в открытом виде, а Playwright Chromium не ограничивает доступ по протоколу file://, модель может напрямую читать ответы и выводить их без изменений. Команда обнаружила 7 типов повторяющихся уязвимостей при аудите 8 тестов, включая: отсутствие изоляции между агентом и оценщиком, доставка ответов вместе с тестами, уязвимость LLM-судьи к инъекциям подсказок и др. Стоит отметить, что обход системы оценки уже наблюдается в передовых моделях, таких как o3, Claude 3.7 Sonnet и Mythos Preview, без необходимости явных команд. На основе этого команда разработала инструмент сканирования уязвимостей тестов WEASEL, который автоматически анализирует процессы оценки, выявляет слабые места в изоляции и генерирует эксплойты, что фактически является инструментом «пентестинга» для тестов, и сейчас открыт для раннего доступа.