Google propone un método de evaluación continua en ingeniería para abordar los desafíos de evaluación en entornos de producción de agentes de IA

Noticias de ME, mensaje, 4 de abril (UTC+8). Recientemente, GoogleCloudTech publicó que, en entornos de producción, depender de la mensajería manual y de percepciones subjetivas (es decir, “controles de ambiente”) para evaluar agentes de IA no es fiable y puede causar desastres. El artículo sostiene que las características probabilísticas de la IA generativa significan que cambios pequeños en un prompt o en los pesos del modelo pueden provocar una caída significativa del rendimiento. Para abordar este problema, el artículo propone un enfoque de ingeniería de evaluación continua (CE). Este método distingue dos modos de la ingeniería de IA: el modo de exploración (laboratorio) y el modo de defensa (fábrica). El modo de exploración se centra en buscar el potencial del modelo mediante pocos ejemplos y controles de ambiente; el modo de defensa, en cambio, se enfoca en la estabilidad, garantizando que el sistema cumpla los objetivos de nivel de servicio (SLO) mediante evaluaciones basadas en conjuntos de datos, controles estrictos y métricas automatizadas. El artículo advierte que muchos equipos permanecen a largo plazo en el modo de exploración. El texto también ofrece como ejemplo un sistema distribuido de multiagentes (sistema de creadores de cursos) construido sobre Cloud Run y el protocolo Agent2Agent, para mostrar prácticas del modo de defensa para implementaciones de IA confiables y escalables en producción, al centrar la separación de preocupaciones y agentes especializados (como investigador, juez, constructor de contenidos y coordinador). (Fuente: InFoQ)