Корпоративные агенты ИИ нуждаются в стресс-тестах, а не в рекламных презентациях

Абхишек Саксена, руководитель стратегии и роста, Sentient.

Финансовые технологии развиваются быстро. Новости повсюду, ясности нет.

FinTech Weekly предоставляет ключевые истории и события в одном месте.

Нажмите здесь, чтобы подписаться на рассылку FinTech Weekly

Читается руководителями в JP Morgan, Coinbase, BlackRock, Klarna и других.

Корпоративный ИИ имеет проблему доверия, которую не может решить ни одно количество маркетинга. Компании начинают внедрять автономные агенты в производственные среды, где одно неверное решение может привести к нарушению соблюдения норм, неудачному платежу, ошибке в торговле, финансовым потерям или кризису репутации. Тем не менее, стандартом в отрасли для оценки готовности агента к производству по-прежнему является, по сути, демонстрация, которая впечатляет на сцене.

Запуск Nvidia’s NemoClaw на этой неделе сигнализирует о том, как быстро автономные агенты переходят от экспериментов к корпоративным рабочим процессам. Платформа добавляет важные меры безопасности и конфиденциальности, включая создание песочницы и рамки политики. Но безопасное развертывание не равно готовности к производству. Более сложный вопрос в том, были ли эти системы протестированы на надежную работу в условиях неопределенности, крайних случаев и регулирующего давления.

Создание агента, который может выполнить задачу в контролируемой среде, относительно просто. Создание агента, который может справляться с неопределенностью, восстанавливаться после неожиданных входных данных, поддерживать последовательность в тысячи одновременных взаимодействий и делать все это без нарушения регулирующих ограничений, является совершенно другой инженерной задачей.

Эта разница и есть то, с чем сталкиваются многие корпоративные развертывания. Пробел между производительностью на демонстрации и надежностью в производстве шире, чем ожидают большинство команд.

Агент, который безупречно обрабатывает запросы службы поддержки в тестировании, может представить политику возврата, которой не существует, когда сталкивается с крайним случаем, которого он никогда не видел. Агент, управляющий финансовыми рабочими процессами, может идеально справляться с историческими данными, но принимать катастрофические решения, когда рыночные условия выходят за рамки его обучающего распределения. Логистический агент, координирующий цепочку поставок, может успешно работать в симуляции, но сталкивается с трудностями, когда реальные задержки и противоречивые сигналы начинают накапливаться.

Любой, кто проводил тестирование агентов в условиях противодействия, быстро распознает эти шаблоны. Системы работают — до тех пор, пока не столкнутся с теми видами неопределенности и давления, которые определяют реальные операции.

Вот почему текущее внимание отрасли к созданию большего количества агентских фреймворков упускает критически важный аспект. Настоящим узким местом является не то, насколько быстро компании могут создавать агентов. Это то, насколько уверенно они могут их оценивать, прежде чем эти агенты получат настоящую ответственность.

Корпоративному ИИ нужно строгое, систематическое стресс-тестирование, специально предназначенное для автономных систем. Это означает преднамеренное введение таких входных данных, которые ломают агентов в производстве. Это означает оценку того, как агенты ведут себя в условиях неопределенности, противоречивой информации и крайних случаев, которые не появляются в чистых контрольных наборах данных. И это означает непрерывную оценку, а не одноразовое тестирование перед запуском.

Открытый подход NemoClaw является шагом в правильном направлении, потому что он дает разработчикам возможность видеть, как работают агенты. Нельзя правильно протестировать черный ящик. Но одного лишь видимости недостаточно. Инфраструктура тестирования сама должна развиваться вместе с системами, которые она оценивает.

Разработка агентов должна исходить из того, что режимы отказа неизбежны и должны быть выявлены на раннем этапе. Цель не в том, чтобы доказать, что агент работает однажды, а в том, чтобы понять, как он себя ведет, когда условия становятся непредсказуемыми. Такой подход меняет способ оценки агентов, проектирования рамок политики и подготовки систем к развертыванию в условиях высокой ставки.

Ставки будут только расти, когда агенты переходят от изолированных задач к рабочим процессам от начала до конца. Предприятия уже исследуют агентов, которые ведут переговоры по контрактам, выполняют финансовые транзакции, координируют цепочки поставок и управляют сложными операционными процессами. Когда эти системы работают на нескольких точках принятия решений, влияние одной ошибки может быстро нарастать.

Агент службы поддержки, который терпит неудачу, теряет тикет. Финансовый агент, который терпит неудачу, может потерять капитал. Операционный агент, который терпит неудачу, может задержать всю производственную линию.
Компании, которые в конечном итоге добьются успеха с корпоративным ИИ, не будут теми, кто первыми развернул агентов. Это будут те, кто развернул агентов, которым они действительно могут доверять.

Доверие — это не функция, которую добавляют в конце разработки. Это инженерная дисциплина — та, которая начинается с того, как системы тестируются, как их поведение оценивается под давлением и как их режимы отказа понимаются задолго до того, как они вообще касаются рабочей нагрузки производства.

Nvidia предоставляет предприятиям мощные инструменты для создания автономных агентов. Более сложный вопрос — и тот, который определит, добьются ли эти системы успеха в реальном мире — заключается в том, инвестируют ли организации в равной степени в инфраструктуру, необходимую для доказательства готовности этих агентов.

Об авторе

Абхишек Саксена является руководителем стратегии и роста в Sentient, платформе открытого кода ИИ, создающей инфраструктуру для надежных автономных агентов. Ранее Абхишек занимал должности в Polygon Technology, Apple и InMobi и имеет степень MBA из Гарвардской школы бизнеса.