Google предлагает методологию постоянной оценки инженерных решений для решения задач оценки производственной среды AI-агентов

ME News сообщение, 4 апреля (UTC+8), недавно GoogleCloudTech опубликовал(а) пост, в котором указал(а), что в производственной среде полагаться на ручные чаты и субъективные ощущения (то есть «проверку атмосферы») для оценки AI-агентов ненадежно и может привести к катастрофе. В статье отмечается, что из-за вероятностной природы генеративного AI даже небольшие изменения в подсказках или весах модели могут вызвать заметное ухудшение производительности. Для решения этой проблемы в материале предлагается инженерный подход, основанный на непрерывной оценке (CE). Этот метод различает два режима инженерии AI: режим исследования (лаборатория) и режим защиты (завод). Режим исследования сосредоточен на поиске потенциала модели с помощью небольшого числа примеров и проверок атмосферы; режим защиты же делает упор на стабильность — с помощью оценок на основе датасетов, строгих процедур пропуска и автоматизированных метрик, чтобы система выполняла целевые показатели уровня сервиса (SLO). В статье предупреждается, что многие команды надолго застревают в режиме исследования. Также в материале в качестве примера приводится распределенная многоагентная система (система создателей курса), построенная на Cloud Run и протоколе Agent2Agent: показано, как применение принципа разделения ответственности и специализированных агентов (например, исследователь, судья, конструктор контента, координатор) позволяет реализовать режим защиты для надежного, масштабируемого промышленного AI-внедрения. (Источник: InFoQ)