Ilmuwan Utama OpenAI Memperingatkan bahwa Pemantauan CoT Akan Menjadi Tidak Andal Seiring Berkembangnya Sistem AI
Menurut Kepala Ilmuwan OpenAI, Jakub Pachocki, dalam sebuah Post terbaru, pemantauan chain-of-thought (CoT)—alat keselamatan utama yang digunakan untuk mendeteksi tujuan tersembunyi atau penalaran yang tidak selaras dalam model AI—menjadi semakin tidak andal. Pachocki menyebutkan tiga alasan. Pertama, agen AI semakin sering melakukan penalaran melalui pemanggilan alat serta interaksi dengan manusia atau sistem lain, sehingga sulit mengamati seluruh proses penalaran hanya dengan memeriksa CoT. Ke
GateNews·09-07 02:10
