A Google propõe uma abordagem de avaliação contínua de engenharia para enfrentar os desafios de avaliação de ambientes de produção de agentes de IA

Notícias ME: mensagem, 4 de abril (UTC+8). Recentemente, a GoogleCloudTech publicou um artigo afirmando que, em ambientes de produção, não é fiável avaliar agentes de IA com base em conversas manuais e perceções subjetivas (isto é, “verificação de ambiente”). O texto alerta ainda que tal pode provocar catástrofes. A perspetiva apresentada no artigo defende que, devido às características probabilísticas da IA generativa, pequenas alterações num prompt ou nos pesos do modelo podem causar uma degradação significativa do desempenho. Para resolver este problema, o artigo propõe uma abordagem de engenharia para Avaliação Contínua (CE). Este método distingue dois modos na engenharia de IA: o modo de exploração (laboratório) e o modo de defesa (fábrica). O modo de exploração centra-se em encontrar o potencial do modelo através de poucos exemplos e de verificações de ambiente; o modo de defesa concentra-se na estabilidade, assegurando que o sistema cumpre objetivos de nível de serviço (SLO) por meio de avaliações baseadas em conjuntos de dados, controlos rigorosos e métricas de automatização. O artigo alerta que muitas equipas ficam durante muito tempo no modo de exploração. O texto apresenta também, como exemplo, um sistema distribuído multiagente (sistema de criadores de cursos) construído com base no Cloud Run e no protocolo Agent2Agent, para mostrar a prática do modo de defesa na implementação de IA fiável e escalável em produção, ao focar-se no princípio da separação de responsabilidades e em agentes especializados (como investigador, juiz, construtor de conteúdos e coordenador). (Fonte: InFoQ)