Google пропонує підхід до постійної оцінки інженерних методів для вирішення викликів оцінки виробничого середовища AI-агентів

Новини ME, повідомлення від 4 квітня (UTC+8). Нещодавно GoogleCloudTech опублікував статтю, де зазначив, що покладатися в production-середовищі на ручні чати та суб’єктивні відчуття (тобто «перевірку атмосфери») для оцінки AI-агентів ненадійно, і це може спричинити катастрофу. У тексті викладено думку, що через імовірнісну природу генеративного AI навіть незначні зміни в підказках або вагових параметрах моделі можуть призвести до відчутного погіршення продуктивності. Щоб вирішити цю проблему, у статті пропонується інженерний підхід із застосуванням безперервної оцінки (CE). Цей метод розрізняє два режими AI-інженерії: дослідницький режим (лабораторія) та захисний режим (завод). Дослідницький режим фокусується на пошуку потенціалу моделі за допомогою невеликої кількості прикладів і «перевірок атмосфери»; захисний режим натомість зосереджується на стабільності — через оцінювання на основі датасетів, суворий «шлагбаум/контроль» і автоматизовані метрики, щоб система відповідала цілям рівня послуг (SLO). У статті попереджають, що багато команд надовго затримуються в дослідницькому режимі. Також у тексті наводиться приклад розподіленої мультиагентної системи (системи створення курсів), побудованої на основі Cloud Run і протоколу Agent2Agent, щоб показати практики захисного режиму для надійного та масштабованого AI-деплою у production через принцип розділення відповідальностей і спеціалізованих агентів (наприклад, дослідник, суддя, конструктор контенту, координатор). (Джерело: InFoQ)