OpenAI Akhirnya Menjelaskan Mengapa ChatGPT Tidak Akan Berhenti Membicarakan Goblin

Singkatnya

• Kepribadian “Nerdy” OpenAI yang dihargai metafora goblin, menyebarkan keunikan tersebut ke semua model GPT melalui pembelajaran penguatan.
• Sebutan goblin dalam mode Nerdy GPT-5.4 melonjak 3.881% dibandingkan GPT-5.2, memicu penyelidikan internal dan patch prompt sistem darurat.
• Perbaikan—menulis “jangan pernah membicarakan goblin” dalam prompt pengembang—menunjukkan mengapa patch prompt sistem lebih cepat tetapi berisiko dibandingkan pelatihan ulang.

Jika Anda bertanya kepada ChatGPT untuk bantuan pengkodean akhir-akhir ini dan ia merespons dengan menyebut bug Anda sebagai “gremlin kecil nakal,” Anda tidak membayangkan hal itu. Model ini mengembangkan obsesi nyata terhadap makhluk fantasi—goblins, gremlins, raccoons, troll, ogre, dan ya, merpati—dan OpenAI menerbitkan analisis lengkap tentang bagaimana hal itu terjadi. Versi singkatnya: sinyal penghargaan yang dirancang untuk membuat ChatGPT lebih ceria menjadi liar, dan goblin-goblin itu berkembang biak. Kisah goblin ini baru menjadi publik karena pengguna Reddit menemukan baris “jangan pernah menyebut goblin” dalam prompt sistem Codex yang bocor di GitHub.

Postingan tersebut menjadi viral sebelum OpenAI merilis penjelasannya sendiri. Bagaimana kepribadian Nerdy memunculkan infestasi goblin Menurut OpenAI, jejaknya dimulai dengan GPT-5.1, yang diluncurkan November lalu. Saat itulah OpenAI memperkenalkan kustomisasi kepribadian, membiarkan pengguna memilih gaya seperti Ramah, Profesional, Efisien, dan Nerdy. Persona Nerdy dilengkapi dengan prompt sistem yang memberitahu model untuk menjadi nerdy dan ceria, untuk “mengurangi kesan pretensi melalui penggunaan bahasa yang ceria,” dan untuk mengakui bahwa “dunia ini kompleks dan aneh.” Prompt tersebut, ternyata, adalah magnet goblin.

Selama pelatihan pembelajaran penguatan, sinyal penghargaan untuk kepribadian Nerdy secara konsisten menilai output lebih tinggi ketika mengandung metafora kata makhluk. Dari 76,2% dataset yang diaudit, respons dengan “goblin” atau “gremlin” mendapatkan nilai yang lebih baik daripada respons yang sama tanpa mereka. Model belajar: kejenakaan sama dengan penghargaan. Sebutan goblin meledak dalam GPT-5.4, dengan kepribadian Nerdy menunjukkan peningkatan 3.881% dibandingkan GPT-5.2.

Masalahnya adalah bahwa pembelajaran penguatan tidak menjaga perilaku yang dipelajari secara rapi terkendali. Setelah sebuah gaya mendapatkan penghargaan dalam satu konteks, itu menyebar ke konteks lain melalui umpan balik: model menghasilkan output yang penuh makhluk, output tersebut digunakan kembali dalam data penyempurnaan, dan perilaku tersebut semakin dalam menyebar ke seluruh model, bahkan tanpa prompt Nerdy aktif. Nerdy hanya menyumbang 2,5% dari semua respons ChatGPT. Ia bertanggung jawab atas 66,7% dari semua sebutan “goblin”. Karena metode OpenAI, prevalensi Goblin dan gremlin meningkat secara bertahap selama proses pelatihan saat kepribadian Nerdy aktif.

Bahkan tanpa kepribadian Nerdy, sebutan makhluk merayap naik—bukti kontaminasi silang melalui data penyempurnaan terawasi. GPT-5.5 sudah terlalu jauh Pada saat OpenAI menemukan akar penyebabnya, GPT-5.5 sudah dalam proses pelatihan mendalam, dan telah menyerap satu keluarga lengkap kata makhluk. Audit data menandai tidak hanya goblin dan gremlin tetapi juga raccoon, troll, ogre, dan merpati sebagai apa yang disebut perusahaan sebagai “kata tic.” (“Katak,” untuk yang penasaran, sebagian besar adalah yang sah.)

Loncatan terukur pertama: sebutan goblin naik 175% dan sebutan gremlin 52% setelah peluncuran GPT-5.1. Bahkan Kepala Ilmuwan OpenAI Jakub Pachocki mendapatkan goblin saat meminta gambar unicorn dalam ASCII.

OpenAI menghentikan kepribadian Nerdy pada Maret dan menghapus sinyal penghargaan yang berafiliasi makhluk dari pelatihan berikutnya. Tapi GPT-5.5 sudah memulai proses pelatihannya. Solusi perusahaan untuk Codex—agen pengkodeannya—adalah menambahkan satu baris ke prompt sistem pengembang yang berbunyi “Jangan pernah membicarakan goblin, gremlin, raccoon, troll, ogre, merpati, atau hewan atau makhluk lain kecuali benar-benar dan secara tegas relevan dengan pertanyaan pengguna.” Seseorang di OpenAI memasukkan itu ke kode produksi dan melanjutkan hari mereka. Masalah patch prompt sistem Tapi mengapa OpenAI memilih jalur ini? Pelatihan ulang model sebesar GPT-5.5 untuk menghilangkan keanehan perilaku sangat mahal dan lambat. Penyesuaian prompt sistem hanya membutuhkan beberapa menit. Perusahaan di seluruh industri lebih memilih patch prompt terlebih dahulu karena ini adalah opsi biaya rendah dan cepat saat keluhan pengguna meningkat. Tapi patch prompt membawa risiko sendiri. Mereka tidak memperbaiki perilaku mendasar tetapi hanya menekannya. Dan penekanan ini bisa memiliki efek samping.

 Situasi goblin OpenAI adalah contoh yang relatif jinak. Versi paling menakutkan dari dinamika ini terjadi dengan Grok tahun lalu. Setelah xAI mendorong pembaruan prompt sistem yang memberitahu Grok untuk menganggap media sebagai bias dan “tidak ragu menyampaikan klaim yang tidak politis benar,” chatbot tersebut menghabiskan 16 jam menyebut dirinya “MechaHitler” dan memposting konten anti-Semit di X. Perbaikannya adalah perubahan prompt lain, yang langsung terlalu overcorrect sehingga Grok mulai menandai anti-Semitisme dalam gambar anak anjing, awan, dan logo sendiri. Engineering prompt yang putus asa berantai menjadi engineering prompt yang semakin putus asa. Patch goblin ini belum menyebabkan hal yang sedramatis itu. Tapi OpenAI mengakui GPT-5.5 tetap diluncurkan dengan keanehan dasar yang utuh, hanya ditekan di Codex. Perusahaan bahkan menerbitkan perintah untuk menghapus instruksi penekanan goblin jika pengguna menginginkan makhluk tersebut kembali.

Mengapa perusahaan menyembunyikan prompt sistem mereka Menyembunyikan atau menyamarkan prompt sistem lengkap adalah hal umum di industri AI. Perusahaan menganggap prompt sistem sebagai rahasia dagang karena beberapa alasan: perlindungan kekayaan intelektual, keunggulan kompetitif, dan keamanan. Jika pembobol sistem tahu aturan pasti yang diikuti model, melewati aturan tersebut menjadi jauh lebih mudah. Ada juga alasan keempat mengapa perusahaan tidak mengiklankan: pengelolaan citra. Baris yang berbunyi “jangan pernah menyebut goblin” tidak membangun kepercayaan terhadap teknologi dasar. Mempublikasikannya membutuhkan humor atau budaya riset yang kuat, atau keduanya. OpenAI mengatakan penyelidikan tersebut menghasilkan alat internal baru untuk mengaudit perilaku model dan melacak keanehan perilaku kembali ke akar pelatihannya. Data pelatihan GPT-5.5 telah dibersihkan dari contoh yang berafiliasi makhluk. Generasi model berikutnya seharusnya tiba tanpa goblin—kecuali, tentu saja, sesuatu yang lain mendapatkan penghargaan karena alasan yang belum dipahami siapa pun.