Google propone un método de evaluación continua en ingeniería para abordar los desafíos de evaluación en entornos de producción de agentes de IA

Noticias de ME, 4 de abril (UTC+8). Recientemente, GoogleCloudTech publicó un artículo en el que señaló que, en entornos de producción, depender de la conversación manual y las impresiones subjetivas (es decir, la “verificación del ambiente”) para evaluar agentes de IA no es fiable y puede provocar desastres. El artículo sostiene que, debido a las características probabilísticas de la IA generativa, incluso cambios pequeños en los prompts o en los pesos del modelo pueden causar un deterioro significativo del rendimiento. Para resolver este problema, el artículo propone un enfoque de ingeniería de Evaluación Continua (CE). Este método distingue dos modos del trabajo de ingeniería de IA: el modo de exploración (laboratorio) y el modo de defensa (fábrica). El modo de exploración se centra en buscar el potencial del modelo mediante un pequeño número de ejemplos y verificaciones del ambiente; el modo de defensa, en cambio, se enfoca en la estabilidad, asegurando que el sistema cumpla los objetivos de nivel de servicio (SLO) mediante evaluaciones basadas en conjuntos de datos, un control estricto y métricas automatizadas. El artículo advierte que muchos equipos permanecen durante mucho tiempo en el modo de exploración. El texto también pone como ejemplo un sistema distribuido de múltiples agentes (sistema de creadores de cursos) construido con Cloud Run y el protocolo Agent2Agent, para mostrar las prácticas del modo de defensa para un despliegue de IA fiable y escalable a nivel de producción, mediante la aplicación de los principios de separación de preocupaciones y agentes especializados (como investigadores, jueces, constructores de contenido y coordinador). (Fuente: InFoQ)