Підприємницькі AI-агенти потребують стрес-тестів, а не рекламних презентацій

Абхішек Саксена, Керівник стратегії та зростання, Sentient.

FinTech швидко розвивається. Новини везде, але ясності немає.

FinTech Weekly надає ключові історії та події в одному місці.

Натисніть тут, щоб підписатися на розсилку FinTech Weekly

Читають керівники JP Morgan, Coinbase, BlackRock, Klarna та інших.

Корпоративний AI має проблему з довірою, яку ніякий маркетинг не може вирішити. Компанії починають розгортати автономні агенти в робочих середовищах, де одне неправильне рішення може спровокувати порушення відповідності, невдалий платіж, торгову помилку, фінансові втрати або кризу репутації. Проте стандарт індустрії для оцінки готовності агента до виробництва все ще залишається, по суті, демонстрацією, яка справляє враження на сцені.

Запуск Nvidia NemoClaw на цьому тижні сигналізує про те, наскільки швидко автономні агенти переходять від експериментування до корпоративних робочих процесів. Платформа додає важливі заходи безпеки та конфіденційності, включаючи ізоляцію (sandboxing) та політичні гарантії. Однак безпечне розгортання - це не те саме, що готовність до виробництва. Складніше питання полягає в тому, чи були ці системи протестовані для надійної роботи в умовах невизначеності, граничних випадків та нормативного тиску.

Створення агента, який може виконати завдання в контрольованому середовищі, є відносно прямолінійним. Створення агента, який може впоратися з невизначеністю, відновитися від неочікуваних даних, підтримувати послідовність серед тисяч одночасних взаємодій, і все це без порушення нормативних обмежень - це зовсім інша інженерна проблема.

Різниця полягає саме там, де багато корпоративних розгортань стикаються з проблемами. Розрив між демонстраційною продуктивністю та виробничою надійністю є ширшим, ніж очікує більшість команд.

Агент, який безупинно обробляє запит служби підтримки клієнтів під час тестування, може галюцинувати політику повернення коштів, яка не існує, коли він стикається з граничним випадком, якого він ніколи не бачив. Агент, що управляє фінансовими робочими процесами, може працювати ідеально на історичних даних, але приймати катастрофічні рішення, коли умови на ринку змінюються за межами його розподілу навчання. Агент логістики, який координує ланцюг поставок, може досягти успіху в симуляції, але мати труднощі, коли реальні затримки та суперечливі сигнали починають накопичуватися.

Будь-хто, хто запускав агентів через адверсаріальні тестові середовища, швидко впізнає ці закономірності. Системи працюють — доки не стикаються з невизначеністю та тиском, які визначають справжні операції.

Саме тому нинішній фокус індустрії на розробку більшої кількості фреймворків агентів упускає критичний момент головоломки. Реальне вузьке місце - це не те, наскільки швидко компанії можуть створювати агентів. Це те, наскільки впевнено вони можуть оцінювати їх перед тим, як дати цим агентам справжню відповідальність.

Те, що потрібно корпоративному AI, - це суворі, систематичні тестові інфраструктури для перевірки стійкості, розроблені спеціально для автономних систем. Це означає навмисно вводити такі дані, які ламають агентів у виробництві. Це означає оцінювати поведінку агентів в умовах невизначеності, суперечливої інформації та граничних випадків, які не з’являються в чистих набірах даних для тестування. І це означає постійну оцінку, а не одноразовий тест перед запуском.

Відкритого коду підхід NemoClaw - це крок у правильному напрямку, оскільки він дає розробникам видимість того, як працюють агенти. Ви не можете правильно тестувати чорну скриньку. Але видимості недостатньо. Сама інфраструктура тестування має розвиватися разом із системами, які вона оцінює.

Розробка агентів має припускати, що режими відмови неминучі і повинні бути виявлені рано. Мета полягає не в тому, щоб довести, що агент працює один раз, а в тому, щоб зрозуміти, як він поводиться, коли умови стають непередбачуваними. Це мислення змінює те, як оцінюються агенти, як розробляються гарантії, і як системи готуються до розгортання в середовищах з високим ризиком.

Ставки будуть зростати лише по мірі того, як агенти перейдуть від ізольованих задач до наскрізних робочих процесів. Підприємства вже досліджують агентів, які ведуть переговори за контрактами, виконують фінансові операції, координують ланцюги поставок та управляють складними операційними процесами. Коли ці системи працюють на декількох точках прийняття рішень, вплив однієї помилки може швидко розповсюджуватися.

Агент служби підтримки клієнтів, який відмовляє, втрачає квиток. Фінансовий агент, який відмовляє, може втратити капітал. Операційний агент, який відмовляє, може затримати всю виробничу лінію.
Компанії, які врешті-решт досягнуть успіху з корпоративним AI, будуть не тими, що розгорнули агентів першими. Вони будуть тими, що розгорнули агентів, яких вони насправді можуть довіряти.

Довіра - це не функція, яку ви додаєте наприкінці розробки. Це інженерна дисципліна — одна, яка починається з того, як тестуються системи, як їхня поведінка оцінюється під тиском, і як їхні режими відмови розуміються задовго до того, як вони коли-небудь торкаються виробничого навантаження.

Nvidia дає підприємствам потужні інструменти для побудови автономних агентів. Складніше питання — і те, яке визначить, чи успішні ці системи в реальному світі — це те, чи організації однаково інвестують в інфраструктуру, необхідну для доведення готовності цих агентів.

Про автора

Абхішек Саксена - керівник стратегії та зростання в Sentient, платформі з відкритим кодом, яка будує інфраструктуру для надійних автономних агентів. Раніше Абхішек займав посади в Polygon Technology, Apple та InMobi, а також має MBA з Harvard Business School.