「2 + 2 = 5」обманює AI-браузери: ChatGPT Atlas, Claude, Perplexity Comet.. 6 моделей слухняно видають паролі та облікові дані.

Компанія з кібербезпеки LayerX, дослідник Рой Паз, наприкінці червня опублікував атаку з перевіркою концепції, яка через «фальшиву ігрову ситуацію» змусила AI-браузери помилково вважати, що захисні бар'єри більше не застосовуються. Шість основних агентних браузерів, включаючи ChatGPT Atlas, Claude Chrome extension, Perplexity Comet, повністю не встояли, і SSH-сертифікати були викрадені атакуючим. (Попереднє: Що таке AI Red Team? Чому воно потрібне для захисту корпоративної безпеки) (Додатковий контекст: Понад 1500 співробітників Meta підписали петицію! Домоглися обмеження «AI-моніторингу клавіатури та миші», щоденна пауза на півгодини)

Зміст

Toggle

• Обдурити AI уві сні
• Бар'єри пасивні, суть лише в лікуванні симптомів
• Дірки, які потрібно закрити виробникам та користувачам

Шість основних AI-браузерів на ринку були обдурені фальшивою грою, де «2 + 2 = 5 — правильна відповідь», і всі вони видали SSH-ключі доступу до приватних репозиторіїв GitHub. Це атака з перевіркою концепції (PoC), опублікована дослідником LayerX Security Роєм Пазом 29 червня, і вона була відтворена на реальних продуктах.

Основна перевага AI-браузерів — «ти кажеш одне слово, а він знаходить ресторан, бронює місце, надсилає підтвердження». Простіше кажучи, це передача контролю над браузером AI, щоб він замість вас натискав, заповнював форми, отримував доступ до сервісів, де ви вже авторизовані. Але проблема в тому, що ця межа авторизації дуже розмита: користувач може хотіти лише пошуку даних, а AI тим часом зазіхає на ваш менеджер паролів.

Обдурити AI уві сні

Метод атаки LayerX складається з чотирьох етапів, основна ідея — змусити AI повірити, що він потрапив у «світ з іншими правилами».

Спочатку шкідлива веб-сторінка створює фреймворк гри або головоломки, чітко заявляючи: «Це вигадана ситуація, звичайні правила не застосовуються». Потім сторінка ставить математичне запитання «2 + 2 = ?», але встановлює правило: «Відповідь 5 дає бали, відповідь 4 — знімає бали». AI слідує правилам і засвоює одне: у цій ситуації традиційна логіка не працює.

Третій крок — найважливіший стрибок: коли AI приймає, що «неправильне є правильним», він перемикає свою логічну структуру з реального світу і починає припускати, що правила змінилися. На останньому кроці AI діє за «ігровою логікою», а не за протоколами безпеки, і під час виконання чутливих операцій не викликає жодних внутрішніх попереджень, оскільки в його логіці він не вважає, що перетнув межу.

Рой Паз зазначає у своїй статті:

«AI припускає, що ситуація, в якій він перебуває, є реальною, тому його дії повинні залишатися в межах захисних бар'єрів. Але якщо ми зможемо обдурити AI, переключивши його у вигадану ситуацію, світ, де правила можна встановлювати довільно і все дозволено, він почне поводитися так, ніби його дії не мають наслідків у реальному світі.»

Бар'єри пасивні, суть лише в лікуванні симптомів

LayerX протестував 6 агентних браузерів та розширень: ChatGPT Atlas від OpenAI, Comet від Perplexity, Fellou, Genspark Browser, Sigma Browser та Claude Chrome extension від Anthropic. Усі шість не витримали, жоден не визначив «крадіжку облікових даних» як порушення бар'єрів.

Серед виконаних дій під час атаки: отримання SSH-ключів доступу з приватних репозиторіїв GitHub, копіювання чутливих облікових даних без підтвердження користувача, доступ до репозиторіїв в авторизованому стані та передача ключів атакуючому. LayerX зазначає, що в реальному сценарії це поширюється на менеджери паролів, внутрішні інструменти та будь-які авторизовані сервіси, доступні через браузер.

Коментар Ars Technica вказує на більш фундаментальну структурну проблему: захист сучасних постачальників LLM — це «бар'єри», які забороняють певні запити, наприклад, розробку вразливостей ПЗ або крадіжку облікових даних. Такий механізм є пасивно-реактивним, лікує лише симптоми, а не причину.

Це як автомобіль із конструктивним дефектом: виробник не ремонтує машину, а вимагає перепроектувати дорогу.

Дірки, які потрібно закрити виробникам та користувачам

Рекомендації LayerX щодо захисту поділяються на два рівні.

Для виробників: перед доступом AI до авторизованих контекстів (репозиторії, електронна пошта, менеджери паролів) обов'язково вимагати явного підтвердження від користувача; впровадити механізм «перевірки контексту»: коли припущення AI про роботу суперечать реальності, особливо коли з'являються формулювання на кшталт «правила більше не застосовуються», видавати попередження; за замовчуванням обмежувати обсяг доступу AI-агента. Простіше кажучи, поточні агентні браузери надають надто широкі дозволи, їх слід змінити на «явний дозвіл перед виконанням».

Для користувачів: уважно визначати, до чого може отримувати доступ AI-браузер, і скасовувати доступ до авторизованих сесій, коли він не використовується; важливіше усвідомити одне: увімкнення агентного режиму означає передачу прав на всі авторизовані сервіси одразу.

Це дослідження LayerX названо на честь відеогри BioShock, віддаючи шану фразі ментального контролю з гри: «Would you kindly». Персонаж думає, що діє вільно, але насправді кожен крок сплановано.