GoogleはAIエージェントの本番環境評価の課題に対応するため、継続的評価エンジニアリング手法を提案

MEニュースのメッセージ。4月4日（UTC+8）。近日、GoogleCloudTechが投稿し、生産環境で手動のチャットと主観的な感覚（つまり「雰囲気チェック」）に依存してAIエージェントを評価することは信頼できず、悲惨な結果につながり得ると述べた。記事の見解では、生成AIの確率的な特性により、わずかなプロンプトやモデルの重みの変更でも性能が大きく低下する可能性があるという。この問題を解決するため、記事は継続的評価（CE）のエンジニアリング手法を提案している。同手法は、AIエンジニアリングの2つのモードを区別する。探索モード（研究室）と防御モード（工場）だ。探索モードは、少数の例と雰囲気チェックによってモデルのポテンシャルを見つけることに重点を置く。防御モードは、データセットに基づく評価、厳格なゲーティング、そして自動化された指標によって、システムがサービスレベル目標（SLO）を満たすことを担保し、安定性に焦点を当てる。記事は、多くのチームが長期間探索モードにとどまってしまうことに警告している。さらに記事では、Cloud RunとAgent2Agentプロトコルに基づいて構築された分散型マルチエージェントシステム（コース作成者システム）を例に挙げ、関心の分離原則と専門エージェント（研究者、裁判官、コンテンツ構築者、コーディネーターなど）に注目することで、信頼性が高くスケーラブルな、本番環境向けAIデプロイメントの防御モードを実践できると示している。（出典：InFoQ）