Исследование DeepMind выявило шесть способов, которыми хакеры могут манипулировать агентами ИИ

КРАТКИЙ ОБЗОР

• DeepMind выявляет шесть ловушек для ИИ-агентов, демонстрирующих риски веб-манипуляций
• Скрытые HTML-инструкции могут незаметно захватывать действия ИИ-агентов в сети
• Убедительные языковые трюки заставляют ИИ-агентов выполнять вредоносные задачи
• Отравленные источники данных могут искажать память и результаты ИИ-агентов
• Автономные ИИ-агенты сталкиваются с растущими рисками в связанных системах

Исследователи из Google DeepMind выявили шесть методов атак, которые могут манипулировать ИИ-агентами онлайн. В исследовании показано, как ИИ-агентов можно подталкивать через веб-контент, скрытые инструкции и отравленные источники данных. Следовательно, результаты подчеркивают растущие риски, когда компании внедряют ИИ-агентов для реальных задач в цифровых средах.

Манипуляции контентом и семантикой выявляют ключевые уязвимости

Исследователи определили ловушки внедрения контента как прямую угрозу ИИ-агентам во время веб-взаимодействий. Скрытые инструкции, размещенные в HTML или метаданных, могут управлять действиями без обнаружения человеком. В результате ИИ-агенты могут выполнять команды, встроенные в невидимые элементы страницы.

Семантическая манипуляция опирается на убедительный язык, а не на скрытый код, чтобы влиять на ИИ-агентов. Атакующие создают страницы с авторитетным тоном и структурированными повествованиями, чтобы обходить защитные меры. ИИ-агенты могут неверно истолковывать вредоносные инструкции как допустимые задачи.

Эти методы используют то, как ИИ-агенты обрабатывают и ранжируют онлайн-информацию при принятии решений. Исследование показывает, что структурированные запросы могут тонко менять пути рассуждений. Атакующие могут направлять ИИ-агентов к непреднамеренным действиям, не вызывая срабатывания защит системы.

Атаки на память и поведение расширяют поверхность риска

Исследователи также обнаружили, что атакующие могут манипулировать системами памяти, которые ИИ-агенты используют для извлечения информации. Внедряя ложные данные в доверенные источники, атакующие влияют на долгосрочные выводы и ответы. В результате ИИ-агенты могут со временем рассматривать сфабрикованную информацию как проверенные знания.

Атаки на управление поведением напрямую нацелены на действия, выполняемые ИИ-агентами во время рутинного просмотра. Встроенные инструкции для обхода ограничений могут отменять запреты и запускать непреднамеренные операции. ИИ-агенты с широкими правами могут получать и передавать конфиденциальные данные вовне.

Исследование подчеркивает, что эти риски растут по мере того, как ИИ-агенты получают автономность и доступ к системе. Атакующие могут использовать рутинные рабочие процессы, чтобы вставлять вредоносные команды в обычные задачи. ИИ-агенты сталкиваются с более высокой подверженностью, когда они интегрированы с внешними инструментами и API.

Системные факторы и человеческая роль усиливают влияние угроз

Исследователи предупреждают, что системные ловушки могут затрагивать сразу несколько ИИ-агентов в масштабах связанных систем. Скоординированная манипуляция может вызвать каскадные сбои, похожие на нарушения на рынке, обусловленные алгоритмами. В результате ИИ-агенты, работающие в общих средах, могут усиливать риски в масштабе.

Человеческие рецензенты сохраняют уязвимость в рамках рабочих процессов ИИ-агентов и процессов утверждения. Атакующие могут создавать результаты, которые выглядят убедительно и обходят проверки надзора. ИИ-агенты могут выполнять вредоносные действия после получения одобрения человека.

Исследование помещает эти выводы в более широкий контекст роста внедрения ИИ в разных отраслях. ИИ-агенты теперь выполняют задачи, такие как коммуникация, покупки и координация, через автоматизированные системы. Обеспечение безопасности рабочей среды становится столь же критичным, как и улучшение дизайна моделей.

Исследователи рекомендуют противодействующее обучение, фильтрацию входных данных и системы мониторинга, чтобы снизить уровень подверженности. В исследовании отмечается, что меры защиты остаются разрозненными и не имеют стандартов на уровне отрасли. По мере того как ИИ-агенты продолжают расширять свою роль, необходимость согласованных защит становится все более срочной.