Google propone un método de evaluación continua en ingeniería para abordar los desafíos de evaluación en entornos de producción de agentes de IA

Noticias ME: Mensaje, 4 de abril (UTC+8). Recientemente, GoogleCloudTech publicó un texto que indica que, en entornos de producción, confiar en chats manuales y percepciones subjetivas (es decir, “controles de ambiente”) para evaluar agentes de IA no es fiable y podría llevar a desastres. El artículo sostiene que, debido a las características probabilísticas de la IA generativa, cambios pequeños en los prompts o en los pesos del modelo pueden provocar un deterioro significativo del rendimiento. Para abordar este problema, el texto propone un enfoque de ingeniería de Evaluación Continua (CE). Este método distingue dos modos de la ingeniería de IA: el modo de exploración (laboratorio) y el modo de defensa (fábrica). El modo de exploración se centra en buscar el potencial del modelo mediante un pequeño número de ejemplos y controles de ambiente; el modo de defensa, en cambio, se centra en la estabilidad, utilizando evaluaciones basadas en conjuntos de datos, una supervisión estricta y métricas automatizadas para garantizar que el sistema cumpla los objetivos de nivel de servicio (SLO). El artículo advierte que muchos equipos tienden a permanecer durante mucho tiempo en el modo de exploración. También ofrece como ejemplo un sistema distribuido de múltiples agentes (sistema de creadores de cursos) construido con Cloud Run y el protocolo Agent2Agent, para mostrar la práctica del modo de defensa de despliegues de IA fiables y escalables a nivel de producción, lograda mediante el principio de separación de preocupaciones y agentes especializados (como investigador, juez, constructor de contenido y coordinador). (Fuente: InFoQ)