Google пропонує підхід до постійної оцінки інженерних методів для вирішення викликів оцінки виробничого середовища AI-агентів

Новини ME, повідомлення, 4 квітня (UTC+8). Нещодавно GoogleCloudTech опублікував допис, у якому зазначив, що в промисловому середовищі покладатися на ручні чати та суб’єктивні відчуття (тобто «перевірки атмосфери») для оцінювання AI-агентів ненадійно і це може призвести до катастрофи. У статті викладено думку, що через імовірнісну природу генеративного ШІ навіть незначні зміни в підказках або вагових коефіцієнтах моделі можуть спричинити помітне погіршення продуктивності. Щоб вирішити цю проблему, у матеріалі запропоновано інженерний підхід із застосуванням безперервного оцінювання (CE). Цей метод розрізняє два режими інженерії ШІ: режим дослідження (лабораторний) і режим оборони (заводський). Режим дослідження зосереджується на пошуку потенціалу моделі за допомогою невеликої кількості прикладів і «перевірок атмосфери»; режим оборони ж орієнтується на стабільність, забезпечуючи, щоб система відповідала цілям рівня послуг (SLO), через оцінювання на основі датасетів, суворий контроль допусків і автоматизовані метрики. У статті також попереджають, що багато команд надовго залишаються в режимі дослідження. Далі в матеріалі наводять приклад розподіленої мультиагентної системи (системи створення курсів), побудованої на базі Cloud Run і протоколу Agent2Agent, щоб показати, як практика режиму оборони для надійного та масштабованого промислового розгортання AI досягається завдяки принципу розділення відповідальностей і спеціалізованим агентам (наприклад, дослідник, суддя, конструктор контенту, координатор). (Джерело: InFoQ)