Google propose une méthode d’évaluation continue de l’ingénierie pour relever les défis d’évaluation en environnement de production des agents IA

Nouvelles ME : message, le 4 avril (UTC+8). Récemment, GoogleCloudTech a publié un article indiquant qu’il n’est pas fiable, en environnement de production, d’évaluer des agents IA en se fiant à des discussions manuelles et à des impressions subjectives (c’est-à-dire des « contrôles d’ambiance »), et que cela peut entraîner des catastrophes. L’article affirme que, du fait des caractéristiques probabilistes de l’IA générative, de petites variations dans une invite ou dans les poids du modèle peuvent provoquer une baisse significative des performances. Pour résoudre ce problème, l’article propose une approche d’ingénierie d’évaluation continue (CE). Cette méthode distingue deux modes de l’ingénierie IA : le mode d’exploration (en laboratoire) et le mode de défense (en usine). Le mode d’exploration met l’accent sur la recherche du potentiel du modèle au moyen d’un petit nombre d’exemples et de contrôles d’ambiance ; le mode de défense, lui, se concentre sur la stabilité, en s’appuyant sur des évaluations fondées sur des ensembles de données, un contrôle strict par « portes » et des indicateurs automatisés pour garantir que le système respecte les objectifs de niveau de service (SLO). L’article avertit que de nombreuses équipes restent durablement dans le mode d’exploration. L’article donne aussi l’exemple d’un système distribué multi-agents (système de créateurs de cours) construit à partir de Cloud Run et du protocole Agent2Agent, afin de montrer la pratique du mode de défense pour des déploiements IA fiables et évolutifs en production, en appliquant les principes de séparation des préoccupations et en utilisant des agents spécialisés (comme le chercheur, le juge, le concepteur de contenu, le coordinateur). (Source : InFoQ)