Google пропонує підхід до постійної оцінки інженерних методів для вирішення викликів оцінки виробничого середовища AI-агентів

Новини ME: повідомлення від 4 квітня (UTC+8). Нещодавно GoogleCloudTech опублікував матеріал, у якому зазначив, що покладатися в production-середовищі на ручні чати та суб’єктивні відчуття (тобто «перевірку атмосфери») для оцінювання AI-агентів ненадійно, і це може спричинити катастрофу. У статті висловлено думку, що через імовірнісну природу генеративного AI навіть невеликі зміни в підказках або вагових коефіцієнтах моделі можуть призводити до значного погіршення продуктивності. Щоб вирішити цю проблему, у матеріалі запропоновано інженерний підхід застосування безперервної оцінки (CE). Цей підхід розрізняє два режими інженерії AI: режим дослідження (лабораторія) та режим оборони (завод). Режим дослідження робить акцент на пошуку потенціалу моделі за допомогою невеликої кількості прикладів і перевірок атмосфери; режим оборони натомість фокусується на стабільності, забезпечуючи, щоб система відповідала цілям рівня сервісу (SLO), через оцінювання на основі наборів даних, суворе блокування та автоматизовані метрики. У статті попереджається, що багато команд надовго залишаються в режимі дослідження. У матеріалі також як приклад наведено розподілену мультиагентну систему (систему створення курсів), побудовану на основі Cloud Run і протоколу Agent2Agent, щоб показати практичне застосування режиму оборони для надійного, масштабованого AI-запуску рівня production завдяки дотриманню принципу розділення відповідальностей і використанню спеціалізованих агентів (наприклад, дослідник, суддя, конструктор контенту, координатор). (Джерело: InFoQ)