Google пропонує підхід до постійної оцінки інженерних методів для вирішення викликів оцінки виробничого середовища AI-агентів

Повідомлення ME News, 4 квітня (UTC+8). Нещодавно GoogleCloudTech опублікував допис, у якому зазначив, що в продакшн-середовищі покладатися на ручні чати та суб’єктивні відчуття (тобто «перевірку атмосфери») для оцінювання AI-агентів ненадійно і це може призвести до катастрофи. У статті викладено думку про те, що ймовірнісна природа генеративного AI означає: навіть незначні зміни в підказках або в параметрах ваг моделі можуть спричинити суттєве погіршення продуктивності. Щоб вирішити цю проблему, у матеріалі запропоновано інженерний підхід із застосуванням безперервного оцінювання (CE).

Цей підхід відрізняє два режими інженерії AI: режим дослідження (лабораторія) та режим оборони (завод). Режим дослідження зосереджується на пошуку потенціалу моделі за допомогою невеликої кількості прикладів і «перевірок атмосфери». Натомість режим оборони орієнтується на стабільність: через оцінювання на основі наборів даних, суворе «гейтинг»-управління та автоматизовані метрики, щоб система відповідала цілям рівня сервісу (SLO). У статті застерігають, що багато команд надовго затримуються в режимі дослідження.

Також у матеріалі як приклад наводиться розподілена мультиагентна система (система створення курсів), побудована на базі Cloud Run і протоколу Agent2Agent, щоб показати практику режиму оборони для надійних і масштабованих AI-розгортань у продакшн, застосовуючи принцип розділення відповідальностей і використовуючи спеціалізованих агентів (наприклад, дослідник, суддя, конструктор контенту, координатор). (Джерело: InFoQ)