Google пропонує підхід до постійної оцінки інженерних методів для вирішення викликів оцінки виробничого середовища AI-агентів

Новини ME про повідомлення: 4 квітня (UTC+8). Нещодавно GoogleCloudTech опублікував допис, у якому зазначив, що покладатися в промисловому середовищі на ручні чат-інтерфейси та суб’єктивні відчуття (тобто «перевірку настрою») для оцінювання AI-агентів ненадійно і це може спричинити катастрофу. У статті висловлюється думка, що через ймовірнісну природу генеративного AI навіть незначні зміни в підказках або вагових параметрах моделі можуть призвести до суттєвого погіршення продуктивності. Щоб вирішити цю проблему, у матеріалі пропонується інженерний підхід із застосуванням безперервної оцінки (CE). Цей підхід розрізняє два режими інженерії AI: режим дослідження (лабораторний) і режим оборони (на виробництві). Режим дослідження зосереджується на пошуку потенціалу моделі за допомогою невеликої кількості прикладів і «перевірок настрою»; натомість режим оборони робить акцент на стабільності, забезпечуючи відповідність системи цілям рівня сервісу (SLO) через оцінювання на основі наборів даних, жорстке шлюзування та автоматизовані метрики. У статті також попереджають, що багато команд надовго лишаються в режимі дослідження. Далі в матеріалі наводиться приклад розподіленої мультиагентної системи (системи створення курсів), побудованої на основі Cloud Run і протоколу Agent2Agent, щоб показати практику режиму оборони для надійного та масштабованого промислового розгортання AI: шляхом дотримання принципу розділення відповідальностей і використання спеціалізованих агентів (наприклад, дослідник, суддя, конструктор контенту, координатор). (Джерело: InFoQ)