A Google propõe uma abordagem de avaliação contínua de engenharia para enfrentar os desafios de avaliação de ambientes de produção de agentes de IA

Notícias ME News, mensagem de 4 de abril (UTC+8). Recentemente, a GoogleCloudTech publicou um texto indicando que, em ambientes de produção, não é fiável avaliar agentes de IA recorrendo a conversas manuais e a perceções subjetivas (isto é, “verificação de ambiente”), podendo mesmo provocar desastres. O artigo sustenta que, devido às características probabilísticas da IA generativa, pequenas alterações num prompt ou nos pesos do modelo podem levar a uma degradação significativa do desempenho. Para resolver este problema, o texto propõe uma abordagem de engenharia para aplicar Continuous Evaluation (CE). O método distingue dois modos na engenharia de IA: o modo de exploração (laboratório) e o modo de defesa (fábrica). O modo de exploração centra-se em encontrar o potencial do modelo através de poucos exemplos e de verificações de ambiente; o modo de defesa, por sua vez, concentra-se na estabilidade, garantindo que o sistema cumpre objetivos de nível de serviço (SLO) através de avaliações baseadas em conjuntos de dados, controlos rigorosos (gatekeeping) e indicadores automatizados. O artigo alerta que muitas equipas tendem a permanecer durante muito tempo no modo de exploração. O texto apresenta ainda, como exemplo, um sistema distribuído de múltiplos agentes (sistema de criadores de cursos) construído com Cloud Run e o protocolo Agent2Agent, para demonstrar a prática do modo de defesa numa implementação de IA fiável e escalável em produção, assente no princípio da separação de responsabilidades e recorrendo a agentes especializados (como investigador, juiz, construtor de conteúdos e coordenador). (Fonte: InFoQ)