Google предлагает методологию постоянной оценки инженерных решений для решения задач оценки производственной среды AI-агентов

Новости ME, сообщение от 4 апреля (UTC+8). В последние дни GoogleCloudTech опубликовал(а) пост, в котором указал(а), что в производственной среде полагаться на ручные чаты и субъективные ощущения (то есть «проверку атмосферы») для оценки AI-агентов ненадежно и может привести к катастрофе. В статье выражается мнение, что из‑за вероятностной природы генеративного ИИ даже небольшие изменения в подсказках или веса модели могут вызывать заметное ухудшение производительности. Для решения этой проблемы в материале предлагается инженерный подход к применению непрерывной оценки (CE). Этот метод различает два режима инженерии AI: режим исследования (лаборатория) и режим защиты (фабрика). Режим исследования делает упор на поиск потенциала модели с помощью небольшого числа примеров и «проверок атмосферы»; режим защиты же фокусируется на стабильности, обеспечивая соответствие системы целям по уровню сервиса (SLO) за счет оценки на основе датасетов, строгого контроля (гейтинга) и автоматизированных метрик. В статье предупреждают, что многие команды надолго остаются в режиме исследования. В материале также приводится пример распределенной мультиагентной системы (система создателя курса), построенной на базе Cloud Run и протокола Agent2Agent, чтобы показать, как на практике реализуется режим защиты для надежного, масштабируемого AI‑развертывания уровня продакшн: за счет принципа разделения ответственности и выделенных агентов (например, исследователь, судья, конструктор контента, координатор). (Источник: InFoQ)