Исследователи научились замедлять ИИ-модели логическими ловушками - ForkLog

# Исследователи научились замедлять ИИ-модели логическими ловушками

Специалисты из Чжэцзянского университета и Alibaba представили на ICML 2026 в Сеуле новый класс атак на ИИ-системы, пишет IEEE Spectrum. Их цель — не взломать модель и не получить доступ к данным, а заставить ее настолько долго обрабатывать запросы, чтобы она стала бесполезной.

Как работает новый метод

Рассуждающие модели — в отличие от обычных LLM — разбивают задачу на последовательные шаги перед ответом. Их все чаще используют в системах, где требуется сложный многоэтапный анализ.

При работе с неполными или противоречивыми данными такие модели склонны к чрезмерному обдумыванию — генерации слишком длинных цепочек рассуждений. Это увеличивает время обработки запросов и расход вычислительных ресурсов. В автоматических системах это открывает вектор для DoS-атак.

Исследователи разработали метод, который намеренно провоцирует такое поведение. Генетический алгоритм перемешивает условия задач, удаляет ключевые предпосылки и добавляет лишние. Затем он отбирает варианты, которые вызывают максимально длинный ответ.

На бенчмарке MATH длина рассуждений выросла в 26,1 раза. Метод превзошел существующие способы такого воздействия. Уязвимыми оказались DeepSeek-R1, Qwen3-Thinking, GPT-o3 и Gemini 2.5 Flash.

Авторы также выяснили, что созданные для одной небольшой модели запросы оказались эффективны и против других систем, включая крупные коммерческие проекты. Это позволяет готовить атаки на закрытые сервисы без больших затрат.

«Наша цель — не продемонстрировать, что масштабные атаки возможны с минимальными затратами, а зафиксировать, что эта поверхность атаки существует», — написал один из исследователей Вэй Цао в письме IEEE Spectrum.

Почему это важно

Рассуждающие модели все чаще используют в агентных ИИ-системах, включая торговых ботов, инструменты аудита смарт-контрактов и децентрализованную инфраструктуру.

В DeFi цифровые ассистенты на базе искусственного интеллекта управляют реальными средствами без участия человека. Сбой в логике — в том числе вызванный намеренно — создает операционный риск.

Новая работа опирается на уже известную особенность рассуждающих моделей — склонность к чрезмерному обдумыванию. В феврале 2025 года группа исследователей проанализировала 4018 агентных траекторий и выделила повторяющиеся паттерны чрезмерного обдумывания у моделей:

• паралич анализа — модель продолжает рассуждать вместо выполнения задачи;
• непредсказуемые действия — после ошибки пытается выполнить несколько действий одновременно;
• преждевременное завершение — прекращает выполнение задачи, не проверив результат.

Рассуждающие модели оказались более склонны к чрезмерному обдумыванию. Чем сильнее выражен эффект, тем ниже результативность.

Напомним, в начале июля 2026 года аналитики предупредили, что дальнейшее развитие OpenAI и Anthropic все сильнее зависит от доступности вычислительных мощностей, финансирования дата-центров и регуляторных решений.