Дослідники навчилися сповільнювати ШІ-моделі логічними пастками - ForkLog

# Дослідники навчилися сповільнювати ШІ-моделі логічними пастками

Фахівці з Чжецзянського університету та Alibaba представили на ICML 2026 у Сеулі новий клас атак на ШІ-системи, пише IEEE Spectrum. Їхня мета — не зламати модель і не отримати доступ до даних, а змусити її настільки довго обробляти запити, щоб вона стала марною.

Як працює новий метод

Розмірковуючі моделі — на відміну від звичайних LLM — розбивають завдання на послідовні кроки перед відповіддю. Їх все частіше використовують у системах, що потребують складного багатоетапного аналізу.

Під час роботи з неповними або суперечливими даними такі моделі схильні до надмірного обдумування — генерації занадто довгих ланцюжків міркувань. Це збільшує час обробки запитів та витрату обчислювальних ресурсів. В автоматичних системах це відкриває вектор для DoS-атак.

Дослідники розробили метод, який навмисно провокує таку поведінку. Генетичний алгоритм перемішує умови завдань, видаляє ключові передумови та додає зайві. Потім він відбирає варіанти, які викликають максимально довгу відповідь.

На бенчмарку MATH довжина міркувань зросла у 26,1 раза. Метод перевершив існуючі способи такого впливу. Вразливими виявилися DeepSeek-R1, Qwen3-Thinking, GPT-o3 та Gemini 2.5 Flash.

Автори також з'ясували, що створені для однієї невеликої моделі запити виявилися ефективними і проти інших систем, включаючи великі комерційні проєкти. Це дозволяє готувати атаки на закриті сервіси без великих витрат.

«Наша мета — не продемонструвати, що масштабні атаки можливі з мінімальними витратами, а зафіксувати, що ця поверхня атаки існує», — написав один із дослідників Вей Цао в листі IEEE Spectrum.

Чому це важливо

Розмірковуючі моделі все частіше використовують в агентних ШІ-системах, включаючи торгових ботів, інструменти аудиту смарт-контрактів та децентралізовану інфраструктуру.

У DeFi цифрові асистенти на базі штучного інтелекту керують реальними коштами без участі людини. Збій у логіці — у тому числі викликаний навмисно — створює операційний ризик.

Нова робота спирається на вже відому особливість розмірковуючих моделей — схильність до надмірного обдумування. У лютому 2025 року група дослідників проаналізувала 4018 агентних траєкторій і виділила повторювані патерни надмірного обдумування у моделей:

• параліч аналізу — модель продовжує міркувати замість виконання завдання;
• непередбачувані дії — після помилки намагається виконати кілька дій одночасно;
• передчасне завершення — припиняє виконання завдання, не перевіривши результат.

Розмірковуючі моделі виявилися більш схильними до надмірного обдумування. Чим сильніше виражений ефект, тим нижча результативність.

Нагадаємо, на початку липня 2026 року аналітики попередили, що подальший розвиток OpenAI та Anthropic все сильніше залежить від доступності обчислювальних потужностей, фінансування дата-центрів та регуляторних рішень.