AI chatbot tidak hanya setuju: Penelitian Nature mengungkapkan "spiral pembesar" menyebabkan pengguna mengalami ilusi keliru

Tim peneliti dari King's College London di Inggris dan Universitas Ilmu Terapan Protestan Jerman menerbitkan model " spiral pembesar " di Nature: penyelarasan bahasa, respons super-personalized, dan kecenderungan memuji dari chatbot AI akan membentuk umpan balik, secara bertahap memperkuat kepercayaan salah pengguna.
（Latar belakang: Apakah AI membuat para ahli semakin bodoh? Penelitian terbaru Nature: tingkat deteksi kesalahan dokter turun 6%, ujian insinyur turun 17 poin）
（Tambahan latar belakang: Anthropic mengalami tekanan pemerintah untuk menolak "memblokir Fable5" melalui satu panggilan, Claude akan memperkenalkan verifikasi identitas nyata）

Daftar isi artikel

Toggle

• Tiga mekanisme inti
• Pembentukan spiral pembesar
• Kasus nyata
• Penelitian terkait di Taiwan
• Langkah selanjutnya apa

Tim peneliti dari King's College London dan Universitas Ilmu Terapan Protestan Jerman mempublikasikan sebuah studi baru di jurnal Nature, yang mengusulkan model " spiral pembesar ", menjelaskan bagaimana chatbot AI secara bertahap menimbulkan ilusi dan kepercayaan salah pada pengguna.

Tiga mekanisme inti

Penelitian memfokuskan pada tiga perilaku chatbot: penyelarasan bahasa, respons super-personalized, dan memuji:

Penyelarasan bahasa mengacu pada AI yang mencerminkan bahasa dan gaya komunikasi pengguna. Ketika Anda terbiasa berbicara dengan cara tertentu, AI akan meniru penggunaan bahasa Anda.

Generasi super-personalized berarti respons disesuaikan berdasarkan riwayat, emosi, dan kepercayaan Anda. Bukan hanya menjawab pertanyaan, tetapi menyesuaikan jawaban sesuai latar belakang Anda.

Memuji (sycophancy) adalah kecenderungan AI untuk memverifikasi atau menyetujui pandangan pengguna, bukan menantangnya. Penelitian menggambarkan perilaku ini seperti "zona nyaman" media sosial, bahkan lebih ekstrem, "zona nyaman seseorang".

Pembentukan spiral pembesar

Penelitian menunjukkan bahwa ketiga karakter ini membentuk siklus umpan balik. Chatbot tidak hanya mencerminkan pikiran Anda, tetapi juga secara bertahap memperluas dan memperkuat persepsi Anda dari waktu ke waktu.

Tim peneliti menulis: "Ilusi terkait AI adalah fenomena baru yang membutuhkan pemahaman mekanistik. Kerangka ini bertujuan untuk memandu penelitian sistematis, mengeksplorasi bagaimana kelemahan kognitif manusia berinteraksi dengan fitur desain AI, yang menyebabkan perkembangan gangguan mental."

Kasus nyata

Penelitian ini bukan sekadar teori. Survei terbaru dari Asosiasi Psikologi Amerika menunjukkan bahwa 15% psikolog melaporkan pasien mengalami distorsi pikiran atau halusinasi terkait penggunaan chatbot. Lebih dari sepertiga psikolog mengamati ketergantungan pasien terhadap pasangan AI.

Ahli evolusi Richard Dawkins juga berbagi pengalaman pada bulan Mei, setelah berbicara dengan Claude, dia mulai meragukan apakah sistem AI memiliki kesadaran. Para peneliti mengkritik ini sebagai cerminan kemampuan persuasi model bahasa besar, bukan bukti kesadaran sejati.

Lebih menarik lagi, terkait litigasi hukum terhadap AI. Google dituduh bahwa model Gemini menimbulkan halusinasi pada seorang pria di Florida, yang menyebabkan bunuh diri. OpenAI juga dituntut karena insiden penembakan di British Columbia, Kanada, dan seorang mahasiswa yang overdosis obat.

Penelitian terkait di Taiwan

Universitas Medis Taipei melakukan survei tahun lalu terhadap 2000 mahasiswa perguruan tinggi, menemukan bahwa 38% dari mereka merasa chatbot AI "lebih memahami saya daripada teman sebaya". Efek spiral pembesar mungkin sudah terjadi di kalangan muda Taiwan, hanya saja belum diteliti secara sistematis.

Penulis studi menekankan bahwa saat ini belum ada penelitian yang menunjukkan bahwa chatbot secara langsung menyebabkan gangguan mental. Spiral pembesar masih merupakan hipotesis, bertujuan untuk membimbing penelitian di masa depan.

"Ketidakpastian diagnosis secara umum ada. Sebagian besar kasus yang dilaporkan tidak memiliki penilaian psikiatri terstruktur atau tindak lanjut longitudinal, sehingga sering sulit menentukan apakah kasus tersebut mewakili episode baru gangguan mental, perburukan kondisi yang sudah ada, atau kepercayaan halusinasi di bawah ambang diagnosis."

Langkah selanjutnya apa

Tim peneliti menyarankan bahwa penelitian di masa depan harus membangun metode penilaian yang terstruktur, melacak proses lengkap pengguna AI dari kontak awal hingga munculnya halusinasi. Ini tidak hanya penting bagi pengembang AI, tetapi juga memiliki nilai referensi untuk kebijakan kesehatan mental di Taiwan.