Корпоративные ИИ-агенты нуждаются в стресс-тестах, а не в продающих презентациях.

_Абхишек Саксена, руководитель отдела стратегии и роста, Sentient.

Финтех движется быстро. Новости повсюду, ясности нет.

FinTech Weekly собирает ключевые истории и события в одном месте.

Нажмите здесь, чтобы подписаться на новостную рассылку FinTech Weekly

Читают руководители JP Morgan, Coinbase, BlackRock, Klarna и другие.

У корпоративного ИИ есть проблема доверия, которую не решить никаким маркетингом. Компании начинают разворачивать автономных агентов в производственных средах, где одно неверное решение может привести к нарушению нормативных требований, неудачному платежу, ошибке в торговле, финансовым потерям или репутационному кризису. И всё же отраслевой стандарт оценки готовности агента к производству по-прежнему — по сути, демонстрация, которая впечатляет на сцене.

Запуск Nvidia NemoClaw на этой неделе показывает, как быстро автономные агенты переходят от экспериментов к корпоративным рабочим процессам. Платформа добавляет важные средства контроля безопасности и конфиденциальности, включая изоляцию (sandboxing) и политические ограничения (guardrails). Но безопасное развертывание — это не то же самое, что готовность к эксплуатации. Более сложный вопрос: были ли эти системы протестированы на надежную работу в условиях неопределенности, пограничных случаев и нормативного давления.

Создать агента, способного выполнить задачу в контролируемой среде, относительно просто. Создать агента, который может справляться с неоднозначностью, восстанавливаться после неожиданных входных данных, поддерживать согласованность в тысячах одновременных взаимодействий и делать всё это без нарушения нормативных ограничений, — это совсем другая инженерная задача.

Именно здесь многие корпоративные внедрения сталкиваются с проблемами. Разрыв между демонстрационной производительностью и эксплуатационной надежностью гораздо больше, чем ожидают большинство команд.

Агент, который безупречно обрабатывает запрос в службу поддержки при тестировании, может «галлюцинировать» политику возврата, которой не существует, столкнувшись с пограничным случаем, которого он никогда не видел. Агент, управляющий финансовыми рабочими процессами, может идеально работать на исторических данных, но принимать катастрофические решения, когда рыночные условия выходят за пределы его обучающего распределения. Логистический агент, координирующий цепочку поставок, может преуспеть в симуляции, но испытывать трудности, когда реальные задержки и противоречивые сигналы начинают накапливаться.

Тот, кто проводил агентов через среды adversarial-тестирования, быстро узнает эти шаблоны. Системы работают — пока не столкнутся с неопределенностью и давлением, которые определяют реальную деятельность.

Вот почему нынешний фокус отрасли на создании всё большего количества фреймворков для агентов упускает ключевой элемент. Реальное узкое место — не в том, как быстро компании могут создавать агентов. А в том, насколько уверенно они могут оценить их до того, как эти агенты получат реальную ответственность.

Корпоративному ИИ нужна жесткая, систематическая инфраструктура стресс-тестирования, разработанная специально для автономных систем. Это означает преднамеренное внесение тех типов входных данных, которые нарушают работу агентов в производстве. Это означает оценку поведения агентов в условиях неопределенности, противоречивой информации и пограничных случаев, которые не встречаются в чистых эталонных наборах данных. И это означает непрерывную оценку, а не одноразовый тест перед запуском.

Открытый подход NemoClaw — шаг в правильном направлении, поскольку он дает разработчикам возможность видеть, как работают агенты. Нельзя должным образом тестировать черный ящик. Но одной видимости недостаточно. Сама инфраструктура тестирования должна развиваться вместе с системами, которые она оценивает.

Разработка агентов должна исходить из того, что режимы сбоев неизбежны и должны быть выявлены на ранней стадии. Цель — не доказать, что агент работает один раз, а понять, как он ведет себя, когда условия становятся непредсказуемыми. Такое мышление меняет то, как оцениваются агенты, как проектируются ограничения и как системы готовятся к развертыванию в средах с высокими ставками.

Ставки будут только расти, поскольку агенты переходят от изолированных задач к сквозным рабочим процессам. Предприятия уже изучают агентов, которые ведут переговоры по контрактам, выполняют финансовые транзакции, координируют цепочки поставок и управляют сложными операционными процессами. Когда эти системы работают через множество точек принятия решений, влияние одной ошибки может быстро привести к каскадным последствиям.

Агент поддержки клиентов, который ошибается, теряет заявку. Финансовый агент, который ошибается, может потерять капитал. Операционный агент, который ошибается, может задержать всю производственную линию.

Компании, которые в конечном итоге добьются успеха с корпоративным ИИ, будут не те, кто развернул агентов первыми. А те, кто развернул агентов, которым они действительно могли доверять.

Доверие — это не функция, которую вы добавляете в конце разработки. Это инженерная дисциплина — которая начинается с того, как тестируются системы, как оценивается их поведение под давлением и как понимаются их режимы сбоев задолго до того, как они коснутся производственной нагрузки.

Nvidia дает предприятиям мощные инструменты для создания автономных агентов. Более сложный вопрос — и тот, который определит, будут ли эти системы успешны в реальном мире, — заключается в том, инвестируют ли организации в равной степени в инфраструктуру, необходимую для доказательства готовности этих агентов.

Об авторе

Абхишек Саксена — руководитель отдела стратегии и роста в Sentient, платформе ИИ с открытым исходным кодом, создающей инфраструктуру для надежных автономных агентов. Ранее Абхишек занимал должности в Polygon Technology, Apple и InMobi, а также получил степень MBA в Гарвардской школе бизнеса.