Google mengusulkan pendekatan penilaian berkelanjutan untuk rekayasa guna menghadapi tantangan penilaian lingkungan produksi agen AI

Berita ME, pesan 4 April (UTC+8). Baru-baru ini, GoogleCloudTech memposting bahwa mengandalkan obrolan manual dan penilaian subjektif (yaitu “pengecekan suasana hati”) untuk mengevaluasi agent AI di lingkungan produksi tidak dapat diandalkan, dan dapat menimbulkan bencana. Pandangan dalam artikel tersebut menyatakan bahwa sifat generatif AI yang berbasis probabilitas membuat perubahan kecil pada prompt atau bobot model dapat menyebabkan penurunan kinerja yang signifikan. Untuk mengatasi masalah ini, artikel tersebut mengusulkan pendekatan rekayasa penerapan continuous evaluation (CE). Metode ini membedakan dua mode dalam rekayasa AI: mode eksplorasi (lab) dan mode pertahanan (pabrik). Mode eksplorasi berfokus pada menemukan potensi model melalui sedikit contoh dan pengecekan suasana hati; sedangkan mode pertahanan berfokus pada stabilitas, melalui evaluasi berbasis kumpulan data, kontrol gerbang yang ketat, dan metrik otomatis untuk memastikan sistem memenuhi target tingkat layanan (SLO). Artikel ini memperingatkan banyak tim agar tidak terlalu lama bertahan di mode eksplorasi. Artikel tersebut juga memberikan contoh sistem multi-agen terdistribusi (sistem pembuat kursus) yang dibangun berdasarkan Cloud Run dan protokol Agent2Agent, untuk menunjukkan praktik mode pertahanan dalam penerapan AI level produksi yang andal dan dapat diskalakan dengan berfokus pada prinsip pemisahan kepentingan dan agen-agen khusus (seperti peneliti, hakim, pembangun konten, dan koordinator). (Sumber: InFoQ)