Google propone un método de evaluación continua en ingeniería para abordar los desafíos de evaluación en entornos de producción de agentes de IA

Noticias de ME, el 4 de abril (UTC+8). Recientemente, GoogleCloudTech publicó una nota indicando que depender de conversaciones manuales y de percepciones subjetivas (es decir, “comprobaciones del ambiente”) para evaluar agentes de IA en entornos de producción no es fiable y puede causar desastres. La postura del texto sostiene que, debido a las características probabilísticas de la IA generativa, incluso pequeños cambios en los prompts o en los pesos del modelo pueden provocar un deterioro significativo del rendimiento. Para resolver este problema, el artículo propone un enfoque de ingeniería de evaluación continua (CE). Este método distingue dos modos de la ingeniería de IA: el modo de exploración (laboratorio) y el modo de defensa (fábrica). El modo de exploración se centra en encontrar el potencial del modelo mediante un número reducido de ejemplos y comprobaciones del ambiente; el modo de defensa, en cambio, se enfoca en la estabilidad, asegurando que el sistema cumpla los objetivos de nivel de servicio (SLO) mediante evaluaciones basadas en un conjunto de datos, controles estrictos y métricas automatizadas. El artículo advierte que muchos equipos se quedan durante mucho tiempo en el modo de exploración. El texto también pone como ejemplo un sistema distribuido de múltiples agentes (sistema de creadores de cursos) construido con Cloud Run y el protocolo Agent2Agent, para mostrar prácticas del modo de defensa que permiten desplegar de forma fiable y escalable IA a nivel de producción, mediante la atención al principio de separación de responsabilidades y la asignación de agentes especializados (como investigadores, jueces, constructores de contenido y coordinadores). (Fuente: InFoQ)