A Google propõe uma abordagem de avaliação contínua de engenharia para enfrentar os desafios de avaliação de ambientes de produção de agentes de IA

Notícias da ME News, mensagem de 4 de abril (UTC+8). Recentemente, a GoogleCloudTech publicou um artigo que aponta que, em ambientes de produção, não é fiável avaliar agentes de IA com base em conversas manuais e em percepções subjectivas (isto é, “verificações de atmosfera”) e que isso pode causar desastres. O ponto de vista exposto no texto considera que, devido às características probabilísticas da IA generativa, até pequenas alterações nos prompts ou nos pesos do modelo podem levar a uma degradação significativa do desempenho. Para resolver este problema, o artigo propõe uma abordagem de engenharia de avaliação contínua (CE). Este método distingue dois modos da engenharia de IA: o modo de exploração (laboratório) e o modo de defesa (fábrica). O modo de exploração centra-se em encontrar o potencial do modelo através de poucos exemplos e de “verificações de atmosfera”; o modo de defesa, por sua vez, foca-se na estabilidade, garantindo que o sistema cumpre os objectivos de nível de serviço (SLO) através de avaliações baseadas em conjuntos de dados, controlos rigorosos e métricas de automatização. O artigo alerta que muitas equipas permanecem durante muito tempo no modo de exploração. O texto também apresenta, como exemplo, um sistema distribuído multiagentes (sistema de criadores de cursos) construído com Cloud Run e o protocolo Agent2Agent, para demonstrar a prática do modo de defesa de implementações de IA fiáveis e escaláveis em ambiente de produção, concentrando-se no princípio da separação de preocupações e em agentes especializados (como investigadores, juízes, construtores de conteúdos e coordenador). (Fonte: InFoQ)