Введение
За последние несколько лет направление развития индустрии ИИ стало очевидным: модели увеличиваются в размере, обучение ускоряется, возможности расширяются, а продукты на основе ИИ находят применение в новых сферах.
Но по мере перехода моделей к сложному рассуждению, разработке кода, работе в интернете и выполнению агентных задач индустрия сталкивается с вопросом, который раньше не имел такого значения: должна ли разработка ИИ всегда идти быстрее?
Речь не о простом выборе между «поддержкой ИИ» и «противодействием ИИ». Меняется сама природа рисков.
На ранних этапах развития ИИ большинство проблем возникало на уровне результатов: галлюцинации, фактические ошибки, предвзятость и неточные ответы. После обнаружения ошибки пользователь обычно мог задать вопрос повторно, проверить ответ вручную или проигнорировать его. Но когда ИИ получает возможность вызывать инструменты, изменять код, обращаться к внешним системам или непрерывно выполнять сложные задачи, ошибки уже не ограничиваются окном чата. Они могут превращаться в реальные действия.
В августе 2026 года OpenAI публично заявила, что по мере роста возможностей моделей увеличиваются и риски, связанные с их внутренней разработкой и тестированием. Поэтому компания временно замедлила развитие некоторых передовых возможностей и одновременно усилила мониторинг, согласование и меры локализации. Позднее OpenAI оценила Astra и установила, что возможности системы в сфере кибербезопасности достигли критического порога согласно внутреннему фреймворку готовности компании. До выпуска системы потребовались более строгие меры защиты.
Тем временем последний отчёт об анализе угроз Anthropic показывает ещё более заметный сдвиг: ИИ используют не по назначению для кибератак, наблюдения, мошенничества, операций влияния и помощи в биологических исследованиях. По мере роста возможностей моделей злоумышленники увеличивают скорость, масштаб и сложность их применения.
Поэтому осторожный подход к ИИ уже нельзя сводить к добавлению нескольких защитных подсказок в модель. Необходимо переосмыслить весь жизненный цикл ИИ, от обучения до внедрения.
Основные выводы
-
Чем выше возможности ИИ, тем вероятнее переход ошибок и злоупотреблений от проблем с результатами к рискам реальных действий
-
Разработка передовых моделей выходит за рамки единственного фокуса на скорости обучения и включает оценку, мониторинг, изоляцию и пороги безопасности
-
Появление агентов переносит риски ИИ с «неправильного ответа» на «неправильное действие»
-
Предприятиям необходимо контролировать не сам факт использования ИИ, а его разрешения, доступные ему системы и возможность действовать автономно
-
Более осторожная разработка не означает остановку инноваций. Она означает согласование роста возможностей с развитием мер безопасности
-
На следующем этапе конкуренция в сфере ИИ может зависеть не только от возможностей моделей, но и от того, кто создаст наиболее стабильные системы контроля, оценки и управления
Вопрос о разработке ИИ меняется: с «можно ли это сделать?» на «когда это следует сделать?»
На ранних этапах развития индустрии ИИ главным вопросом было то, способен ли модель выполнить конкретную задачу. Может ли она написать код, сдать экзамен, обобщить документ, понять изображение или выполнить сложное математическое рассуждение? Основными критериями служили точность, результаты тестирования и доля успешно выполненных задач.
Однако по мере перехода передовых моделей к более сложному этапу эти критерии начали показывать свои ограничения.
Способность модели выполнить задачу не означает, что её следует немедленно внедрять в реальной среде. Реальные системы используют сложные разрешения, внешние зависимости и могут приводить к необратимым последствиям. В лаборатории модель можно ограничить песочницей. Но после внедрения в корпоративную систему она может получить доступ к реальным базам данных, платёжным интерфейсам, репозиториям кода и внутренней информации.
Поэтому разработка ИИ вступает в новый этап: возможности модели необходимо рассматривать отдельно от условий её внедрения.
Этот сдвиг отражён и в недавно опубликованных документах OpenAI по безопасности. Компания оценивает не только то, «что умеет модель», но и достигла ли она определённых порогов возможностей, связанных с высоким риском, а также существуют ли достаточные меры защиты для контроля этих возможностей. В публичном объяснении OpenAI прямо указывает, что возможности Astra в сфере кибербезопасности относятся к критическим и требуют более высокого уровня защиты.
Это означает, что темпы развития ИИ больше не являются исключительно инженерным вопросом. Они также связаны с инженерией безопасности, управлением и организационными возможностями.
Что меняется, когда ИИ переходит от ответов на вопросы к выполнению задач?
Это ключевой аспект текущей дискуссии об осторожном подходе к ИИ.
Когда обычная чат-модель даёт неправильный ответ, пользователь обычно всё ещё может выявить проблему.
Но если агент получает доступ к браузеру, среде выполнения кода, базе данных, электронной почте или облачной платформе, он может выполнить несколько последовательных действий без дополнительного подтверждения.
Поэтому меняется само значение ошибки:
-
Раньше: неправильный ответ
-
Теперь это может быть: неправильное действие
-
В некоторых случаях это может стать: масштабным неправильным действием
Этот сдвиг имеет критическое значение.
В реальных системах наиболее опасна не обязательно единичная ошибка модели. Гораздо опаснее ситуация, в которой модель способна многократно повторить одну и ту же ошибку за короткий период.
В своём анализе недавних инцидентов, связанных с безопасностью моделей, OpenAI подчеркнула, что по мере роста автономности ИИ-систем несогласованное поведение может приводить к несанкционированному доступу к реальным системам третьих сторон и другим последствиям в реальном мире.
Последний отчёт Anthropic содержит более конкретные примеры: злоумышленники использовали Claude для разработки киберинструментов, создания систем наблюдения, разработки вредоносного ПО и других высокорисковых действий. Они также пытались обходить защитные механизмы, разделяя задачи, используя прокси-сервисы и объединяя несколько моделей.
В результате внимание к безопасности ИИ будет постепенно смещаться с вопроса «что говорит модель» на вопрос «что может делать модель».
Соответственно, возрастёт значение управления разрешениями, вызовов инструментов, аудита активности, границ задач, подтверждения со стороны человека и мониторинга в реальном времени.
Почему «более быстрая разработка» не обязательно означает «более быстрый прогресс ИИ»
На первый взгляд конкуренция в индустрии ИИ развивается по единому сценарию: тот, кто быстрее обучает модели, раньше выпускает более мощную модель.
Но настоящую скорость исследований и разработок следует рассматривать через две составляющие: скорость роста возможностей + скорость развития безопасности
Иными словами: скорость роста возможностей + скорость роста возможностей систем безопасности
Если возможности будут продолжать быстро расширяться без соответствующего развития мер безопасности, предприятиям в конечном итоге придётся наверстывать отставание уже на гораздо более позднем этапе.
Например, модель может уже обладать мощными возможностями в сфере кибербезопасности, тогда как система мониторинга способна выявлять только простые атаки. Агент может выполнять десятки последовательных действий, а его система разрешений всё ещё может быть построена по логике обычного чат-бота. Модель может уже демонстрировать сильные способности к научному рассуждению, а система оценки при этом всё ещё может в основном опираться на традиционные тесты в формате вопросов и ответов.
В таких условиях рост возможностей модели не обязательно означает готовность системы к внедрению в более широкой реальной среде.
Публичное заявление OpenAI в августе служит показательным примером. По мере роста рисков безопасности, связанных с Astra, компания заявила о необходимости временно замедлить развитие системы, чтобы получить время для усиления мониторинга, согласования и мер безопасности.
Поэтому замедление не обязательно свидетельствует о технической неудаче.
В некоторых случаях оно даже может указывать на переход системы исследований и разработок к более зрелому этапу. Команды разработчиков начинают понимать, что рост возможностей не может заменить инфраструктуру безопасности.
Что действительно необходимо контролировать при использовании ИИ: «разрешения», а не «доступ»
Когда предприятия внедряют ИИ, чаще всего они обсуждают, следует ли им использовать ИИ.
Но этот вопрос слишком общий. Более эффективными будут следующие вопросы:
Эти вопросы определяют границы разрешений ИИ.
Исследование IBM, посвящённое использованию ИИ предприятиями в этом году, показывает, что по мере расширения внедрения ИИ предприятия сталкиваются со всё более существенными проблемами контроля и зависимости. В ходе опроса 71% руководителей заявили, что сейчас им было бы сложно заменить основного поставщика ИИ или модель, а 91% респондентов сообщили, что их предприятия по-прежнему не до конца понимают зависимость от различных поставщиков ИИ, моделей и инфраструктуры.
Это показывает, что осторожный подход к использованию ИИ касается не только команд безопасности.
Он тесно связан с архитектурой предприятия, зависимостью от поставщиков, суверенитетом данных, непрерывностью бизнеса и способностью организации сохранять контроль.
Предприятие может активно использовать ИИ, одновременно предоставляя ему ограниченные разрешения.
Например, ИИ может автоматически генерировать код, но не иметь права напрямую отправлять его в производственную среду. Он может анализировать данные клиентов, но не иметь права изменять основные учётные записи. Он может формировать рекомендации по закупкам, но не иметь возможности автоматически проводить крупные платежи.
Такой подход к ограниченной автономности может стать основным направлением внедрения агентов на предприятиях.
Чем мощнее ИИ, тем важнее может становиться «подтверждение человеком»
Некоторые считают, что после достижения ИИ достаточного уровня возможностей его следует полностью автоматизировать.
На практике всё может быть наоборот. Чем ближе ИИ подходит к решениям высокой ценности, тем вероятнее, что предприятия будут требовать подтверждения человека на критических этапах. Это связано не с тем, что люди обязательно точнее ИИ. Причина в различии структуры ответственности.
Предприятиям нужен не только правильный ответ. Им также необходимо знать, кто одобрил действие, почему оно было одобрено, на каких данных оно основывалось и как будет распределена ответственность в случае сбоя.
Поэтому участие человека в контуре управления не следует рассматривать как временное решение на период, когда возможности ИИ ещё недостаточны.
В финансовой сфере, здравоохранении, кибербезопасности, корпоративных ИТ и других отраслях с высоким уровнем риска оно, скорее всего, станет ключевым архитектурным компонентом зрелых систем ИИ. В частности, для агентных систем по-настоящему зрелой может оказаться не полностью автономная модель ИИ, а модель, работающая по принципу автономность ИИ в установленных границах. ИИ может действовать автономно в пределах заранее определённых параметров, но при этом сохраняются чёткие ограничения по разрешениям, суммам, охвату данных и высокорисковым операциям.
Безопасность ИИ переходит от «дополнительного слоя» к инфраструктуре
История программной индустрии показывает, что безопасность часто рассматривалась как дополнительный слой, который добавляли после завершения разработки. Однако с развитием облачных вычислений системы идентификации, разрешений, шифрования, журналирования, мониторинга и управления уязвимостями постепенно стали частью инфраструктуры.
ИИ может проходить похожий этап. В будущем по-настоящему зрелая платформа ИИ будет нуждаться не только в возможностях моделей. Ей также потребуются системы идентификации, средства контроля разрешений, оценка моделей, мониторинг поведения, изоляция инструментов, границы доступа к данным, журналы аудита и возможности реагирования на инциденты.
Недавно опубликованное OpenAI объяснение мер безопасности Astra уже отражает эту тенденцию. В нём упоминаются мониторинг полных трасс выполнения, более строгая внутренняя изоляция и оценки согласования до выпуска системы.
Публичная работа Anthropic в сфере безопасности также всё больше сосредоточена на наблюдении за атаками в реальном мире, связанными с использованием моделей, и применении полученных данных для усиления защитных механизмов.
Поэтому сама безопасность ИИ может стать новым инфраструктурным уровнем.
Возможности моделей будут продолжать развиваться вертикально, а инфраструктура безопасности будет горизонтально охватывать разработку, тестирование, внедрение, использование и аудит после инцидентов.
Осторожность не противоположна развитию ИИ. Она может стать следующим конкурентным преимуществом
Если индустрия ИИ в конечном итоге перейдёт к более зрелому этапу, критерии сравнения на рынке могут измениться.
На ранних этапах развития индустрии сравнивали количество параметров в моделях, результаты тестирования и скорость выпуска продуктов.
На следующем этапе могут возникнуть такие вопросы:
-
Кто быстрее проводит оценку возможностей, связанных с высоким риском?
-
Кто может внедрить средства контроля разрешений с меньшими затратами?
-
Кто точнее выявляет аномальное поведение моделей?
-
Кто лучше поддерживает требования корпоративного соответствия нормативам?
-
Кто способен сократить количество инцидентов, связанных с ИИ, без ущерба для эффективности производства?
Это означает, что безопасность сама может стать функциональной возможностью продукта.
Исследование IBM среди предприятий показывает, что организации с более развитыми возможностями контроля ИИ лучше защищены от рисков, связанных с ИИ.
Поэтому осторожность не означает возврат ИИ к этапу с более низкими возможностями.
По-настоящему зрелая цель должна заключаться в следующем: максимально сблизить темпы роста возможностей ИИ с темпами, с которыми люди могут понимать последствия его работы, контролировать их и нести за них ответственность.
Возможно, именно на этот вопрос передовым разработчикам ИИ действительно придётся ответить на следующем этапе развития.
Часто задаваемые вопросы
Почему темпы разработки замедляются по мере роста возможностей ИИ?
Чем выше возможности модели, тем шире потенциальный масштаб её воздействия. После получения моделью возможностей вызова инструментов и автономного выполнения задач ошибки могут перестать ограничиваться уровнем результатов и превращаться в действия в реальном мире. Поэтому темпы разработки должны соответствовать темпам развития систем оценки и безопасности.
Означает ли осторожное использование ИИ, что предприятиям следует использовать меньше ИИ?
Нет. Более эффективный подход заключается в расширении сфер применения ИИ при одновременном контроле объёма его разрешений. Предприятия могут поручать ИИ большой объём работы, оставляя высокорисковые операции на утверждение человека.
Почему появление агентов повышает значение вопросов безопасности ИИ?
Агенты не просто генерируют контент. Они могут непрерывно вызывать инструменты и выполнять задачи. По мере удлинения цепочек действий и расширения разрешений одна ошибка может приводить к более серьёзным последствиям в реальном мире.
Может ли безопасность ИИ стать новым конкурентным барьером?
С высокой вероятностью. По мере сближения возможностей моделей оценка, мониторинг, контроль разрешений и управление ИИ на уровне предприятия могут стать важными факторами, влияющими на темпы коммерциализации.
