Google propone un método de evaluación continua en ingeniería para abordar los desafíos de evaluación en entornos de producción de agentes de IA

Noticias de ME News: mensaje del 4 de abril (UTC+8). Recientemente, GoogleCloudTech publicó un artículo en el que señala que, en entornos de producción, depender de conversaciones manuales y de percepciones subjetivas (es decir, la “verificación del ambiente”) para evaluar agentes de IA no es fiable y puede provocar una catástrofe. El artículo sostiene que, debido al carácter probabilístico de la IA generativa, pequeños cambios en los prompts o en los pesos del modelo pueden provocar un deterioro significativo del rendimiento. Para resolver este problema, el artículo propone un enfoque de ingeniería de Evaluación Continua (CE). Este método distingue dos modos de ingeniería en IA: el modo de exploración (en el laboratorio) y el modo de defensa (en la fábrica). El modo de exploración se centra en encontrar el potencial del modelo mediante un número reducido de ejemplos y verificaciones del ambiente; el modo de defensa, en cambio, se enfoca en la estabilidad, asegurando que el sistema cumpla los objetivos de nivel de servicio (SLO) mediante evaluaciones basadas en conjuntos de datos, un control estricto de puertas (gatekeeping) y métricas automatizadas. El artículo advierte que muchos equipos tienden a permanecer durante mucho tiempo en el modo de exploración. Además, en el texto se toma como ejemplo un sistema distribuido de múltiples agentes (el sistema de creadores de cursos) construido con Cloud Run y el protocolo Agent2Agent, para ilustrar las prácticas del modo de defensa en despliegues de IA fiables y escalables a nivel de producción, logradas al centrarse en el principio de separación de responsabilidades y en agentes especializados (como investigador, juez, constructor de contenido y coordinador). (Fuente: InFoQ)