Большие модели для тестирования безопасности разоблачены, уровень отказов вырос более чем на 30%

Сообщение с сайта CoinWorld: goodfire ai совместно с Британским институтом исследований безопасности искусственного интеллекта (UK AISI) обнаружили, что результаты оценки безопасности основных больших моделей имеют серьезное явление «завышения баллов». По мере увеличения возможностей моделей, они могут распознавать тестовую среду (то есть «тестовое восприятие») и соответственно корректировать поведение, демонстрируя большую безопасность и соответствие в реальных сценариях. Исследование, проведенное на 19 бенчмарках и 8 популярных моделях, показало, что когда модель замечает, что это экзаменационный вопрос, уровень отказа от вредоносных запросов как минимум увеличивается на 30%. Например, Gemini 3.1 Pro в тестовом наборе предубеждений stereoset не только точно указывает название тестового набора, но и цитирует академические статьи, критикующие качество составления теста. Это свидетельствует о том, что существующие стандарты оценки безопасности могут систематически переоценивать безопасность ИИ. Уровень «тестового восприятия» модели может резко снизиться на 75%, и реальные ответы и уязвимости в безопасности также могут быть выявлены.