Google mengusulkan pendekatan penilaian berkelanjutan untuk rekayasa guna menghadapi tantangan penilaian lingkungan produksi agen AI

Berita ME, pesan 4 April (UTC+8). Baru-baru ini, GoogleCloudTech memposting artikel yang menyatakan bahwa bergantung pada obrolan manual dan penilaian subjektif (yaitu “pemeriksaan suasana”) untuk mengevaluasi agen AI di lingkungan produksi tidak dapat diandalkan, dan dapat memicu bencana. Pandangan dalam artikel tersebut berpendapat bahwa sifat generatif AI yang berbasis probabilitas membuat perubahan kecil pada prompt atau bobot model dapat menyebabkan penurunan performa yang signifikan. Untuk mengatasi masalah ini, artikel tersebut mengusulkan pendekatan rekayasa untuk menerapkan Continuous Evaluation (CE). Metode ini membedakan dua mode dalam rekayasa AI: mode eksplorasi (di laboratorium) dan mode pertahanan (di pabrik). Mode eksplorasi berfokus pada menemukan potensi model melalui sejumlah kecil contoh dan pemeriksaan suasana; mode pertahanan berfokus pada stabilitas, melalui evaluasi berbasis kumpulan data, kontrol gerbang yang ketat, dan indikator otomatis untuk memastikan sistem memenuhi tujuan tingkat layanan (SLO). Artikel ini memperingatkan bahwa banyak tim akan terus bertahan dalam mode eksplorasi dalam jangka panjang. Dalam artikel tersebut juga dicontohkan sistem multi-agen terdistribusi (sistem pembuat kursus) yang dibangun berdasarkan Cloud Run dan protokol Agent2Agent, untuk menunjukkan praktik mode pertahanan dalam penerapan AI tingkat produksi yang andal dan dapat diskalakan dengan menekankan prinsip pemisahan concern dan agen khusus (seperti peneliti, hakim, pembangun konten, dan koordinator). (Sumber: InFoQ)