Google propose une méthode d’évaluation continue de l’ingénierie pour relever les défis d’évaluation en environnement de production des agents IA

Actualités ME, message du 4 avril (UTC+8). Récemment, GoogleCloudTech a publié un article indiquant que s’appuyer, en environnement de production, sur des discussions manuelles et des impressions subjectives (c’est-à-dire « vérifications d’ambiance ») pour évaluer des agents IA n’est pas fiable et peut mener à une catastrophe. Le point de vue présenté dans l’article explique que, en raison des caractéristiques probabilistes du génératif IA, de petits changements dans les invites ou dans les poids du modèle peuvent entraîner une dégradation significative des performances. Pour résoudre ce problème, l’article propose une approche d’ingénierie d’évaluation continue (CE). Cette méthode distingue deux modes dans l’ingénierie des IA : le mode d’exploration (en laboratoire) et le mode de défense (en usine). Le mode d’exploration se concentre sur la recherche du potentiel du modèle au moyen d’un petit nombre d’exemples et de vérifications d’ambiance ; le mode de défense, lui, met l’accent sur la stabilité, en s’appuyant sur des évaluations basées sur des ensembles de données, un contrôle d’accès strict et des indicateurs automatisés afin de garantir que le système respecte les objectifs de niveau de service (SLO). L’article avertit que de nombreuses équipes restent longtemps en mode d’exploration. L’article donne également l’exemple d’un système distribué multi-agents (système de créateur de cours) construit sur Cloud Run et le protocole Agent2Agent, montrant la pratique du mode de défense pour des déploiements IA fiables et évolutifs prêts pour la production, en mettant l’accent sur le principe de séparation des préoccupations et des agents spécialisés (comme des chercheurs, des juges, des constructeurs de contenu, des coordinateurs). (Source : InFoQ)