A Google propõe uma abordagem de avaliação contínua de engenharia para enfrentar os desafios de avaliação de ambientes de produção de agentes de IA

Notícias ME, 4 de abril (UTC+8). Recentemente, a GoogleCloudTech publicou um artigo afirmando que, em ambientes de produção, é pouco fiável avaliar agentes de IA com base em conversas manuais e percepções subjectivas (ou seja, “verificação do ambiente”), e que isso pode conduzir a catástrofes. O artigo sustenta que as características probabilísticas da IA generativa fazem com que pequenas alterações em prompts ou nos pesos do modelo possam provocar uma degradação significativa do desempenho. Para resolver este problema, o artigo propõe uma abordagem de engenharia para aplicar Avaliação Contínua (CE). Este método distingue dois modos na engenharia de IA: o modo de exploração (laboratório) e o modo de defesa (fábrica). O modo de exploração foca-se em procurar o potencial do modelo através de poucos exemplos e verificações do ambiente; o modo de defesa concentra-se na estabilidade, garantindo que o sistema cumpre objectivos de nível de serviço (SLO) por meio de avaliações baseadas em conjuntos de dados, controlos rigorosos e métricas de automação. O artigo alerta que muitas equipas permanecem durante muito tempo no modo de exploração. O artigo apresenta ainda um exemplo de um sistema distribuído de multiagentes (sistema do criador de cursos) construído com base no Cloud Run e no protocolo Agent2Agent, para demonstrar a prática do modo de defesa para implementar, de forma fiável e escalável, implantações de IA a nível de produção, ao seguir o princípio de separação de responsabilidades e ao utilizar agentes especializados (como investigador, juiz, construtor de conteúdos e coordenador). (Fonte: InFoQ)