Вступ
Протягом останніх кількох років напрям розвитку індустрії ШІ був очевидним: більші моделі, швидше навчання та потужніші можливості, які зрештою забезпечували ширше застосування продуктів.
Однак у міру переходу моделей до складного міркування, розроблення коду, роботи у вебсередовищі та виконання робочих процесів Агентів індустрія стикається з новим питанням, яке раніше не було настільки актуальним: чи завжди розвиток ШІ має пришвидшуватися?
Йдеться не просто про «підтримку ШІ» чи «протидію ШІ». Змінюється сама природа ризику.
Багато проблем ранніх систем ШІ виникали на рівні результату — через галюцинації, фактичні помилки, упередженість і неточні відповіді. Виявивши помилку, користувач зазвичай міг повторити запит, вручну перевірити відповідь або проігнорувати її. Але коли ШІ може викликати інструменти, змінювати код, отримувати доступ до зовнішніх систем або безперервно виконувати складні завдання, помилки вже не обмежуються вікном чату. Вони можуть перетворюватися на реальні дії.
У серпні 2026 року OpenAI публічно заявила, що в міру вдосконалення можливостей моделей зростають і ризики, пов’язані з їхньою внутрішньою розробкою та тестуванням. Тому компанія тимчасово сповільнила розширення окремих передових можливостей, одночасно посиливши моніторинг, узгодження та заходи стримування. Подальша оцінка Astra, проведена OpenAI, також засвідчила, що її можливості у сфері кібербезпеки досягли критичного порогу відповідно до внутрішнього фреймворку готовності компанії. Це зробило необхідним посилення захисту до випуску системи.
Водночас останній звіт про аналіз кіберзагроз Anthropic демонструє ще відчутнішу зміну: ШІ використовують неналежним чином для кібератак, стеження, шахрайства, операцій впливу та допомоги у біологічних дослідженнях. У міру вдосконалення моделей зловмисники підвищують швидкість, масштаб і складність їх використання.
Саме тому обережність у роботі з ШІ вже не можна зводити до додавання кількох підказок із безпеки до моделі. Потрібно переосмислити весь життєвий цикл ШІ — від навчання до розгортання.
Основні висновки
-
Що потужнішим стає ШІ, то ймовірніше, що помилки та неналежне використання перетворюватимуться з проблем результату на ризики дій у реальному світі
-
Розроблення передових моделей виходить за межі зосередження лише на швидкості навчання та охоплює оцінювання, моніторинг, ізоляцію й пороги безпеки
-
Поява Агентів зміщує ризик у сфері ШІ від «отримання неправильної відповіді» до «виконання неправильної дії»
-
Підприємствам насправді потрібно контролювати не те, чи використовують вони ШІ, а те, які дозволи він отримує, до яких систем може звертатися і коли може діяти автономно
-
Обережніше розроблення не означає припинення інновацій. Воно означає узгодження зростання можливостей із розвитком можливостей безпеки
-
Наступний етап конкуренції у сфері ШІ може залежати не лише від можливостей моделей, а й від того, хто зможе створити найстабільніші системи контролю, оцінювання та управління
Питання розвитку ШІ зміщується від «чи можливо це зробити?» до «коли це слід робити?»
На ранніх етапах розвитку індустрії ШІ головним було питання, чи може модель виконати певне завдання. Чи може вона написати код, скласти іспит, підсумувати документ, зрозуміти зображення або виконати складне математичне міркування? Основними показниками були точність, результати тестування та частка виконаних завдань.
Але в міру переходу передових моделей до складнішого етапу ці стандарти почали виявляти свої обмеження.
Здатність моделі виконати завдання не означає, що її слід негайно розгортати в реальному середовищі. Реальні системи передбачають складні дозволи, зовнішні залежності та незворотні наслідки. Під час виконання завдання в лабораторії модель можна обмежити в sandbox, але після розгортання в корпоративній системі вона може отримати доступ до реальних баз даних, платіжних інтерфейсів, сховищ коду та внутрішньої інформації.
Тому розвиток ШІ переходить у нову фазу: можливості моделі потрібно розглядати окремо від умов її розгортання.
Ця зміна також відображена в нещодавно опублікованих документах OpenAI щодо безпеки. Компанія оцінює не лише «що може робити модель», а й те, чи досягла вона певних порогів можливостей із високим рівнем ризику та чи існує достатній захист для контролю цих можливостей. У публічному поясненні OpenAI щодо Astra можливості у сфері кібербезпеки прямо визначено як критичну можливість, що потребує вищого рівня захисту.
Це означає, що темпи розвитку ШІ більше не є лише інженерним питанням. Вони також стосуються інженерії безпеки, управління та організаційних спроможностей.
Що змінюється, коли ШІ переходить від відповідей на запитання до виконання завдань?
Це ключовий аспект сучасної дискусії про обережність у роботі з ШІ.
Коли звичайна чат-модель надає неправильну відповідь, користувач зазвичай усе ще може виявити проблему.
Але якщо Агент має доступ до браузера, середовища виконання коду, бази даних, системи електронної пошти або хмарної платформи, він може виконати кілька кроків без додаткового підтвердження.
Тому значення помилки змінюється:
-
Раніше: Неправильна відповідь
-
Сьогодні це може стати: Неправильна дія
-
І навіть: Неправильна дія у великому масштабі
Ця зміна має критичне значення.
У реальних системах найнебезпечнішим сценарієм не обов’язково є одноразова помилка моделі. Небезпека полягає в тому, що модель може багато разів повторити ту саму помилку за короткий проміжок часу.
У своєму аналізі нещодавніх інцидентів, пов’язаних із безпекою моделей, OpenAI наголосила: у міру підвищення автономності систем ШІ неузгоджена поведінка може призвести до несанкціонованого доступу до реальних сторонніх систем та інших наслідків у реальному світі.
Останній звіт Anthropic містить конкретніші приклади: зловмисники використовували Claude для розроблення кіберінструментів, створення систем стеження, розроблення шкідливого програмного забезпечення та інших небезпечних дій. Вони також намагалися обійти засоби захисту, розподіляючи завдання, використовуючи проксі-сервіси та поєднуючи кілька моделей.
У результаті увага до безпеки ШІ дедалі більше зміщуватиметься від питання «що каже модель» до питання «що може робити модель».
Відповідно зростатиме значення керування дозволами, викликів інструментів, аудиту активності, меж завдань, підтвердження людиною та моніторингу в реальному часі.
Чому «швидше розроблення» не обов’язково означає «швидший прогрес ШІ»
На перший погляд, конкуренція в індустрії ШІ розвивається за єдиною схемою: хто швидше навчає моделі, той раніше запускає потужнішу модель.
Але справжню швидкість досліджень і розробок слід розглядати через дві змінні: швидкість розвитку можливостей + швидкість розвитку безпеки
Інакше кажучи: швидкість зростання можливостей + швидкість зростання можливостей безпеки
Якщо зростання можливостей продовжить прискорюватися без відповідного посилення можливостей безпеки, підприємствам зрештою доведеться надолужувати відставання вже на значно пізнішому етапі.
Наприклад, модель може вже мати потужні можливості у сфері кібербезпеки, тоді як її система моніторингу здатна виявляти лише прості атаки. Агент може виконувати десятки кроків, тоді як його система дозволів досі побудована за логікою звичайного чатбота. Модель може вже мати потужні можливості наукового міркування, тоді як її система оцінювання досі переважно спирається на традиційні тести у форматі запитань і відповідей.
За таких обставин підвищення можливостей моделі не обов’язково означає готовність системи до розгортання в ширшому реальному середовищі.
Публічна заява OpenAI у серпні є типовим прикладом. У міру зростання ризиків для безпеки, пов’язаних з Astra, компанія повідомила, що їй потрібно тимчасово сповільнити розширення можливостей, щоб посилити моніторинг, узгодження та можливості безпеки.
Отже, сповільнення не обов’язково свідчить про технічну невдачу.
У деяких випадках воно навіть може сигналізувати, що система досліджень і розробок переходить до зрілішої фази: команди розробників починають усвідомлювати, що зростання можливостей не може замінити інфраструктуру безпеки.
У використанні ШІ потрібно контролювати не «доступ», а «дозволи»
Коли підприємства впроваджують ШІ, найчастіше вони обговорюють питання, чи варто їм його використовувати.
Але це питання надто широке. Ефективнішими будуть такі запитання:
Ці питання визначають межі дозволів ШІ.
Дослідження IBM цього року щодо використання ШІ підприємствами показує: у міру розширення впровадження ШІ підприємства стикаються з дедалі суттєвішими проблемами, пов’язаними з контролем і залежністю. В опитуванні 71 % керівників заявили, що наразі їм було б складно замінити основного постачальника ШІ або модель, а 91 % респондентів повідомили, що їхні підприємства досі не до кінця розуміють свою залежність від різних постачальників ШІ, моделей та інфраструктури.
Це свідчить, що обережне використання ШІ — питання не лише для команд із безпеки.
Воно тісно пов’язане з архітектурою підприємства, залежністю від постачальників, суверенітетом даних, безперервністю діяльності та здатністю організації зберігати контроль.
Підприємство може активно використовувати ШІ, водночас надаючи йому консервативні дозволи.
Наприклад, ШІ може автоматично створювати код, але не мати дозволу безпосередньо передавати його у виробниче середовище. Він може аналізувати дані клієнтів, але не мати дозволу змінювати основні облікові записи. Він може створювати рекомендації щодо закупівель, але не мати дозволу автоматично виконувати великі платежі.
Такий обмежений рівень автономності може стати основним підходом до розгортання Агентів на підприємствах.
Потужніший ШІ може підвищити значення «підтвердження людиною»
Дехто вважає, що якщо ШІ стане достатньо потужним, його зрештою слід повністю автоматизувати.
На практиці може бути навпаки. Що ближче ШІ підходить до рішень із високою цінністю, то ймовірніше, що підприємства вимагатимуть підтвердження людиною на критичних етапах. Це не тому, що люди обов’язково точніші за ШІ, а тому, що структура відповідальності, яку вони несуть, є іншою.
Підприємствам потрібна не лише правильна відповідь. Їм також потрібно знати, хто схвалив дію, чому її було схвалено, на яких даних вона ґрунтувалася та як буде розподілено відповідальність, якщо щось піде не так.
Тому принцип human-in-the-loop не слід розглядати як тимчасове рішення на період, коли можливості ШІ ще недостатні.
У фінансах, охороні здоров’я, кібербезпеці, корпоративних ІТ та інших галузях із високим рівнем ризику він, імовірно, стане основним архітектурним компонентом зрілих систем ШІ. Зокрема для систем Агентів по-справжньому зрілим підходом може бути не повністю автономний ШІ, а: автономний ШІ в межах визначених обмежень — ШІ може діяти автономно в межах заздалегідь визначених параметрів, водночас чіткі обмеження зберігаються для дозволів, сум, обсягу даних та операцій із високим рівнем ризику.
Безпека ШІ переходить від «додаткового компонента» до інфраструктури
Якщо звернутися до минулого індустрії програмного забезпечення, безпеку часто розглядали як додатковий рівень, який слід додати після завершення розроблення. Але з розвитком хмарних обчислень ідентифікація, дозволи, шифрування, журнали, моніторинг та керування вразливостями поступово стали інфраструктурою.
ШІ, можливо, переживає подібний перехід. У майбутньому по-справжньому зріла платформа ШІ потребуватиме не лише можливостей моделей. Їй також будуть потрібні системи ідентифікації, засоби контролю дозволів, оцінювання моделей, моніторинг поведінки, ізоляція інструментів, межі даних, журнали аудиту та можливості реагування на інциденти.
Нещодавно опубліковане OpenAI пояснення щодо безпеки Astra вже відображає цю тенденцію. Воно передбачає моніторинг повних трас виконання, суворішу внутрішню ізоляцію та оцінювання узгодження до випуску.
Публічна робота Anthropic у сфері безпеки також дедалі більше зосереджується на спостереженні за реальними атаками, пов’язаними з використанням моделей, і застосуванні цих спостережень для вдосконалення засобів захисту.
Тому сама безпека ШІ може стати новим інфраструктурним рівнем.
Можливості моделей і надалі розвиватимуться вертикально, тоді як інфраструктура безпеки розширюватиметься горизонтально — на етапи розроблення, тестування, розгортання, використання та аудиту після інцидентів.
Обережність — не протилежність розвитку ШІ; вона може стати наступною конкурентною перевагою
Якщо індустрія ШІ зрештою перейде до зрілішої фази, критерії порівняння на ринку можуть змінитися.
На ранніх етапах порівнювали кількість параметрів у кожній моделі, результати тестування та швидкість запуску продуктів.
На наступному етапі можуть постати такі питання:
-
Хто швидше виконає оцінювання можливостей із високим рівнем ризику?
-
Хто зможе впровадити контроль дозволів із меншими витратами?
-
Хто точніше виявлятиме аномальну поведінку моделі?
-
Хто краще підтримуватиме вимоги підприємств щодо відповідності нормативам?
-
Хто зможе зменшити кількість інцидентів, пов’язаних із ШІ, не жертвуючи ефективністю виробничих процесів?
Це означає, що сама безпека може стати продуктовою можливістю.
Дослідження IBM щодо підприємств показує, що організації з потужнішими можливостями контролю ШІ краще захищені від шоків, пов’язаних із ризиками ШІ.
Отже, обережність не означає повернення ШІ до етапу з нижчими можливостями.
По-справжньому зріла мета має полягати в тому, щоб темп зростання можливостей ШІ був якомога ближчим до темпу, з яким люди можуть розуміти наслідки ШІ, контролювати їх і нести за них відповідальність.
Можливо, саме на це питання справді доведеться відповісти розробникам передових систем ШІ, коли індустрія вступить у наступну фазу.
Поширені запитання
Чому розвиток сповільнюється в міру посилення ШІ?
Тому що що потужнішою стає модель, то більшим може бути масштаб її впливу. Коли модель отримує можливості виклику інструментів і автономного виконання, помилки можуть більше не залишатися на рівні результату, а перетворюватися на дії у реальному світі. Тому швидкість розвитку має зростати одночасно з можливостями оцінювання та безпеки.
Чи означає обережне використання ШІ, що підприємства мають менше його використовувати?
Ні. Ефективніший підхід полягає в розширенні сфери використання ШІ з одночасним контролем меж його дозволів. Підприємства можуть дозволити ШІ виконувати значний обсяг роботи, залишаючи операції з високим рівнем ризику для схвалення людиною.
Чому Агенти роблять питання безпеки ШІ важливішими?
Тому що Агенти не лише створюють контент — вони можуть безперервно викликати інструменти для виконання завдань. У міру подовження ланцюжків виконання та розширення дозволів одна помилка може спричинити серйозніші наслідки у реальному світі.
Чи може безпека ШІ стати новим конкурентним бар’єром?
Дуже ймовірно. У міру того як можливості моделей стають дедалі схожішими, можливості оцінювання, моніторингу, контролю дозволів та управління ШІ на підприємствах можуть стати важливими чинниками, що впливатимуть на темпи комерціалізації.
