Корпоративные AI-агенты, скрытые угрозы безопасности за повышенной производительностью… Усиление разрыва в управлении

В условиях ускоренного внедрения искусственного интеллекта (ИИ) в бизнесе, развитие «самостоятельных агентов» одновременно становится новой уязвимостью безопасности. Особенно важно отметить, что многие компании, несмотря на развертывание ИИ-агентов внутри своих систем, не создали соответствующих систем доверия и управления для их контроля, что считается ключевым риском.

Генеральный директор KnowBe4 Брайан Пальма заявил на мероприятии KB4-CON 2026: «Основная проблема в области безопасности сегодня — это разрыв между скоростью внедрения и развитием систем управления». Он подчеркнул, что компании должны сначала «идентифицировать» и «понимать» своих ИИ-агентов, работающих в системах. Он объяснил, что к ИИ-агентам следует относиться так же, как к сотрудникам, которых еще не обучили: сначала понять их поведение, а затем защищать.

Пальма сравнил ИИ-агентов с учащимися начальной школы. Он пояснил, что они не могут отличить злонамеренные команды и легко поддаются ошибочным или вредоносным указаниям. Он отметил: «Ключ к доверию — это прозрачность». Необходимо ясно знать, какие агенты существуют, с какими системами они связаны и к каким ресурсам имеют доступ.

От «человека» к «ИИ-агенту»… Расширение сферы безопасности

В связи с этим изменением KnowBe4 расширяет свою существующую платформу управления человеческими рисками, чтобы охватить безопасность ИИ-агентов. Их инструмент AIDA предназначен для автоматизированного и персонализированного обучения сотрудников по вопросам безопасности, а недавно запущенный «Менеджер рисков агентов» фокусируется на инвентаризации ИИ-агентов в корпоративной среде, выявлении их связей и доступа, а также установлении соответствующих политик и ограничений.

По словам Пальмы, этот инструмент сначала формирует список текущих ИИ-агентов внутри компании. Затем он отслеживает, какие процессы используют эти агенты и куда они подключены, например, к почтовым или финансовым системам. Последний шаг — установка «барьеров», которые могут отличать допустимые действия агентов от недопустимых.

Это свидетельствует о том, что недавняя стратегия безопасности компаний переходит к модели «двойной угрозы». Поскольку один и тот же ИИ-агент может одновременно повышать производительность и служить каналом для злоумышленников. В итоге, компании приходится одновременно разрабатывать стратегии защиты и использования.

Угрозы ИИ становятся все более продвинутыми… «В следующем году количество инцидентов, вызванных агентами, увеличится»

KnowBe4 заявил, что их модели ИИ обучаются на поведении, накопленном за 15 лет, на данных более чем 70 000 организаций и свыше 100 миллионов пользователей. Пальма отметил, что это — их отличие от конкурентов. Согласно опубликованному компанией отчету «Состояние человеческих рисков 2025», 45% руководителей в области кибербезопасности считают «постоянно развивающиеся угрозы, управляемые ИИ», самой большой проблемой.

Он добавил, что на платформе AIDA, по сравнению с ручными методами, уровень личных рисков снизился примерно на 4 процентных пункта. Это свидетельствует о том, что использование ИИ для персонализированного обучения по безопасности положительно влияет на реальные действия пользователей.

Кроме того, KnowBe4 расширяет поддержку, начиная с Microsoft Copilot, до Gemini, Claude и ChatGPT, чтобы справляться с «многими LLM» в условиях многомодельных сред. Они считают, что поскольку компании не полагаются только на одну крупную языковую модель, управление рисками ИИ-агентов также должно уметь работать с несколькими моделями одновременно.

Пальма предупреждает, что в следующем году случаи возникновения корпоративных инцидентов из-за уязвимостей ИИ-агентов могут значительно возрасти. Он отметил: «Агенты расширяют поверхность атаки. Само развертывание очень важно и эффективно, но также несет большие риски».

Фокус безопасности ИИ в компаниях сегодня уже выходит за рамки простого вопроса «внедрять или нет», и смещается к вопросам «кто использует какого ИИ-агента и куда он подключен». Некоторые считают, что для достижения эффективности стратегии ИИ, ориентированной на производительность и инновации, необходимо сначала создать системы доверия и контроля, что все больше признается важным условием.