Агенти штучного інтелекту для підприємств потребують стрес-тестування, а не рекламних матеріалів

Abhishek Saxena, керівник відділу стратегій та зростання, Sentient.

Фінтех рухається швидко. Новини скрізь, ясності — ні.

Щотижневий огляд FinTech надає ключові історії та події в одному місці.

Клацніть тут, щоб підписатися на розсилку FinTech Weekly

Читають керівники JP Morgan, Coinbase, BlackRock, Klarna та інші.

Корпоративний штучний інтелект має проблему довіри, яку жоден маркетинг не зможе вирішити. Компанії починають впроваджувати автономних агентів у виробничі середовища, де одна погана рішення може спричинити порушення відповідності, невиплачений платіж, торгову помилку, фінансові збитки або репутаційний кризу. І все ж стандарт оцінки готовності агента до виробництва залишається, по суті, демонстрацією, яка виглядає вражаюче на сцені.

Запуск Nvidia NemoClaw цього тижня свідчить про те, наскільки швидко автономні агенти переходять від експериментів до корпоративних робочих процесів. Платформа додає важливі засоби безпеки та конфіденційності, включаючи ізоляцію та політичні обмеження. Але безпечне розгортання — це не те саме, що готовність до виробництва. Складніше питання — чи були ці системи протестовані на стабільну роботу в умовах невизначеності, крайніх випадках і регуляторного тиску.

Створити агента, який може виконати завдання у контрольованому середовищі, досить просто. Створити агента, який здатен справлятися з невизначеністю, відновлюватися після несподіваних входів, підтримувати послідовність у тисячах одночасних взаємодій і робити все це без порушення регуляторних вимог — зовсім інша інженерна задача.

Саме тут багато корпоративних впроваджень стикаються з проблемами. Різниця між демонстраційною продуктивністю і надійністю у виробництві ширша, ніж очікують більшість команд.

Агент, який бездоганно обробляє запит служби підтримки під час тестування, може створити уявну політику повернення коштів, яка не існує, коли стикається з крайовим випадком, якого він ніколи раніше не бачив. Агент, що керує фінансовими процесами, може ідеально працювати на історичних даних, але приймати катастрофічні рішення, коли ринкові умови виходять за межі його тренувального розподілу. Логістичний агент, що координує ланцюг постачань, може успішно працювати у симуляції, але мати труднощі, коли реальні затримки та конфліктні сигнали починають накопичуватися.

Ті, хто тестував агентів у ворожих середовищах, швидко впізнають ці шаблони. Системи працюють — доки не стикаються з невизначеністю та тиском, що визначають реальні операції.

Саме тому фокус галузі на створенні більшої кількості рамок для агентів пропускає важливий елемент головоломки. Реальний бар’єр — не швидкість створення агентів, а впевненість у їхній оцінці перед тим, як їм довірять реальні обов’язки.

Що потрібно корпоративному штучному інтелекту — це строгий, систематичний інфраструктурний тестування, спеціально розроблений для автономних систем. Це означає навмисне введення таких входів, які зламають агент у виробничому середовищі. Це означає оцінку поведінки агентів за умов невизначеності, конфліктної інформації та крайових випадків, які не з’являються у чистих тестових наборах даних. І це означає постійне оцінювання, а не однократний тест перед запуском.

Відкритий підхід NemoClaw — це крок у правильному напрямку, оскільки він дає розробникам можливість бачити, як працюють агенти. Неможливо належним чином протестувати чорний ящик. Але лише видимість недостатня. Саме інфраструктура тестування має еволюціонувати разом із системами, які вона оцінює.

Розробка агентів має передбачати, що збої неминучі, і їх потрібно виявляти на ранніх етапах. Мета — не довести, що агент працює один раз, а зрозуміти, як він поводиться, коли умови стають непередбачуваними. Такий підхід змінює спосіб оцінки агентів, проектування обмежувальних рамок і підготовки систем до розгортання у високоризикових середовищах.

Ризики зростатимуть, коли агенти перейдуть від ізольованих завдань до цілісних робочих процесів. Компанії вже досліджують агентів, що ведуть переговори щодо контрактів, виконують фінансові транзакції, координують ланцюги постачань і керують складними операційними процесами. Коли ці системи працюють на кількох етапах прийняття рішень, один неправильний крок може швидко спричинити ланцюгову реакцію.

Агент служби підтримки, що не справляється, втрачає заявку. Фінансовий агент, що зазнає невдачі, може втратити капітал. Операційний агент, що не справляється, може затримати всю виробничу лінію.
Компанії, які зможуть довіряти корпоративному штучному інтелекту, — це ті, що впровадили агентів, яким справді довіряють.

Довіра — це не функція, яку додають наприкінці розробки. Це інженерна дисципліна — починаючи з того, як тестуються системи, як оцінюється їхня поведінка під тиском і як розуміються їхні збої ще до того, як вони почнуть працювати у виробничому середовищі.

Nvidia надає підприємствам потужні інструменти для створення автономних агентів. Складніше питання — і саме воно визначить, чи зможуть ці системи успішно працювати у реальному світі — чи компанії інвестують рівною мірою у інфраструктуру, необхідну для доведення цих агентів до готовності.

Про автора

Abhishek Saxena — керівник відділу стратегій і зростання в Sentient, відкритій платформі штучного інтелекту, яка створює інфраструктуру для надійних автономних агентів. Раніше Abhishek працював у Polygon Technology, Apple та InMobi, має MBA з Гарвардської бізнес-школи.