Google mengusulkan pendekatan penilaian berkelanjutan untuk rekayasa guna menghadapi tantangan penilaian lingkungan produksi agen AI

ME News info, 4 April (UTC+8), baru-baru ini, GoogleCloudTech menulis bahwa bergantung pada obrolan manual dan penilaian subjektif (yaitu ‘pemeriksaan suasana’) untuk mengevaluasi AI agent dalam lingkungan produksi tidak dapat diandalkan, dan dapat memicu bencana. Pandangan dalam artikel tersebut menyatakan bahwa sifat generatif AI yang berbasis probabilitas membuat perubahan kecil pada prompt atau bobot model dapat menyebabkan penurunan kinerja yang signifikan. Untuk mengatasi masalah ini, artikel tersebut mengusulkan pendekatan rekayasa penerapan continuous evaluation (CE). Metode ini membedakan dua mode dalam rekayasa AI: mode eksplorasi (di laboratorium) dan mode defensif (di pabrik). Mode eksplorasi berfokus pada pencarian potensi model melalui sedikit contoh dan pemeriksaan suasana; mode defensif berfokus pada stabilitas, dengan memastikan sistem memenuhi target level layanan (SLO) melalui evaluasi berbasis kumpulan data, gate yang ketat, dan metrik otomatis. Artikel ini memperingatkan bahwa banyak tim dalam jangka panjang tetap berada pada mode eksplorasi. Artikel ini juga memberi contoh sistem multi-agen terdistribusi (sistem pembuat kursus) yang dibangun berdasarkan Cloud Run dan protokol Agent2Agent, untuk menunjukkan praktik mode defensif dalam penerapan AI tingkat produksi yang andal dan dapat diskalakan dengan menerapkan prinsip pemisahan concern dan menggunakan agen khusus (seperti peneliti, hakim, pembangun konten, koordinator). (Sumber: InFoQ)