Google mengusulkan pendekatan penilaian berkelanjutan untuk rekayasa guna menghadapi tantangan penilaian lingkungan produksi agen AI

Berita ME: Pesan, 4 April (UTC+8). Baru-baru ini, GoogleCloudTech menulis bahwa di lingkungan produksi, mengandalkan obrolan manual dan penilaian subjektif (yaitu “pemeriksaan suasana”) untuk mengevaluasi agen AI tidak dapat diandalkan, dan dapat menimbulkan bencana. Pandangan dalam tulisan tersebut menyatakan bahwa karena sifat generatif AI yang berbasis probabilitas, perubahan kecil pada prompt atau bobot model dapat menyebabkan penurunan performa yang signifikan. Untuk mengatasi masalah ini, artikel tersebut mengusulkan pendekatan rekayasa penerapan evaluasi berkelanjutan (CE). Metode ini membedakan dua mode untuk rekayasa AI: mode eksplorasi (laboratorium) dan mode pertahanan (pabrik). Mode eksplorasi berfokus pada menemukan potensi model melalui sedikit contoh dan pemeriksaan suasana; mode pertahanan berfokus pada stabilitas, dengan memastikan sistem memenuhi target tingkat layanan (SLO) melalui evaluasi berbasis kumpulan data, kontrol gerbang yang ketat, dan metrik otomatis. Artikel ini memperingatkan bahwa banyak tim akan bertahan lama di mode eksplorasi. Artikel ini juga memberikan contoh sistem multi-agen terdistribusi (sistem pembuat kursus) yang dibangun berdasarkan Cloud Run dan protokol Agent2Agent, untuk menunjukkan praktik mode pertahanan yang andal dan dapat diskalakan untuk penerapan AI tingkat produksi melalui penerapan prinsip pemisahan perhatian dan agen khusus (seperti peneliti, hakim, pembangun konten, dan koordinator). (Sumber: InFoQ)