A Google propõe uma abordagem de avaliação contínua de engenharia para enfrentar os desafios de avaliação de ambientes de produção de agentes de IA

Notícias ME: Mensagem, 4 de abril (UTC+8). Recentemente, a GoogleCloudTech publicou um texto indicando que, em ambientes de produção, depender de conversas manuais e de perceções subjectivas (ou seja, “verificações de atmosfera”) para avaliar agentes de IA não é fiável e pode até levar a uma catástrofe. O artigo defende que, devido às características probabilísticas da IA generativa, pequenas alterações num prompt ou nos pesos do modelo podem fazer com que o desempenho se degrade de forma significativa. Para resolver este problema, o artigo propõe uma abordagem de engenharia de avaliação contínua (CE). O método distingue dois modos de engenharia para IA: o modo de exploração (laboratório) e o modo de defesa (fábrica). O modo de exploração foca-se em encontrar o potencial do modelo através de poucos exemplos e verificações de atmosfera; o modo de defesa foca-se na estabilidade, garantindo que o sistema cumpre os objectivos de nível de serviço (SLO) por meio de avaliações baseadas em conjuntos de dados, controlo rigoroso (“gating”) e métricas de automação. O artigo alerta que muitas equipas ficam durante muito tempo no modo de exploração. O texto também usa como exemplo um sistema distribuído multi-agentes (sistema de criador de cursos) construído com base no Cloud Run e no protocolo Agent2Agent, para mostrar práticas do modo de defesa que permitem implantações de IA fiáveis, escaláveis e ao nível da produção, ao centrar-se no princípio da separação de responsabilidades e em agentes especializados (como investigador, juiz, construtor de conteúdo e coordenador). (Fonte: InFoQ)