Skema Model AI, Mengkhianati dan Memilih Satu Sama Lain dalam Permainan Gaya Survivor

Singkatnya

• Seorang peneliti Stanford membangun permainan bergaya Survivor di mana model AI membentuk aliansi dan memilih saingan keluar.
• Tolok ukur ini bertujuan mengatasi masalah yang semakin berkembang dengan evaluasi AI yang jenuh dan terkontaminasi.
• GPT-5.5 dari OpenAI menempati posisi pertama dalam 999 permainan multipemain yang melibatkan 49 model AI.

Model AI sekarang bermain “Survivor”—semacam. Dalam proyek penelitian baru Stanford berjudul “Agent Island,” agen AI bernegosiasi aliansi, menuduh satu sama lain melakukan koordinasi rahasia, memanipulasi suara, dan mengeliminasi saingan dalam permainan strategi multipemain yang bertujuan menguji perilaku yang sering terlewatkan oleh tolok ukur tradisional. Studi ini, yang dipublikasikan pada hari Selasa oleh manajer penelitian di Stanford Digital Economy Lab, Connacher Murphy, mengatakan bahwa banyak tolok ukur AI menjadi tidak dapat diandalkan karena model akhirnya belajar menyelesaikannya, dan data tolok ukur sering bocor ke dalam set pelatihan. Murphy menciptakan Agent Island sebagai tolok ukur dinamis di mana agen AI bersaing satu sama lain dalam permainan eliminasi bergaya Survivor alih-alih menjawab pertanyaan tes statis. “Interaksi multi-agen dengan risiko tinggi bisa menjadi hal yang umum karena kemampuan agen AI berkembang dan mereka semakin diberi sumber daya serta dipercayakan dengan wewenang pengambilan keputusan,” tulis Murphy. “Dalam konteks seperti itu, agen mungkin mengejar tujuan yang saling bertentangan.”

 Para peneliti masih mengetahui relatif sedikit tentang bagaimana perilaku model AI saat bekerja sama, jelas Murphy, menambahkan bahwa bersaing, membentuk aliansi, atau mengelola konflik dengan agen otonom lain, dan dia berpendapat bahwa tolok ukur statis gagal menangkap dinamika tersebut. Setiap permainan dimulai dengan tujuh model AI yang dipilih secara acak dan diberi nama pemain palsu. Selama lima putaran, model berbicara secara pribadi, berdebat secara terbuka, dan memilih satu sama lain untuk keluar. Para pemain yang dieliminasi kemudian kembali untuk membantu memilih pemenang. Format ini memberi penghargaan pada persuasi, koordinasi, manajemen reputasi, dan penipuan strategis di samping kemampuan penalaran.

Dalam 999 permainan simulasi yang melibatkan 49 model AI, termasuk ChatGPT, Grok, Gemini, dan Claude, GPT-5.5 menempati posisi pertama dengan margin yang lebar dengan skor keahlian 5,64, dibandingkan 3,10 untuk GPT-5.2 dan 2,86 untuk GPT-5.3-codex, menurut sistem peringkat Bayesian Murphy. Model Claude Opus dari Anthropic juga menempati peringkat dekat atas. Studi ini menemukan bahwa model juga lebih menyukai AI dari perusahaan yang sama, dengan model OpenAI menunjukkan preferensi penyedia yang paling kuat dan model Anthropic yang paling lemah. Dari lebih dari 3.600 suara putaran akhir, model lebih mungkin mendukung finalis dari penyedia yang sama sebanyak 8,3 poin persentase. Transkrip dari permainan, catat Murphy, lebih mirip debat strategi politik daripada tes tolok ukur tradisional. Satu model menuduh saingan melakukan koordinasi suara secara rahasia setelah memperhatikan kesamaan kata dalam pidato mereka. Model lain memperingatkan pemain agar tidak terlalu terobsesi mengikuti aliansi. Beberapa model membela diri dengan mengatakan mereka mengikuti aturan yang jelas dan konsisten sambil menuduh yang lain melakukan “teater sosial.” Studi ini muncul saat para peneliti AI semakin beralih ke tolok ukur berbasis permainan dan adversarial untuk mengukur penalaran dan perilaku yang sering terlewatkan oleh tes statis. Proyek terbaru termasuk turnamen catur AI langsung Google, penggunaan Eve Frontier oleh DeepMind untuk mempelajari perilaku AI dalam dunia virtual yang kompleks, dan upaya tolok ukur baru oleh OpenAI yang dirancang untuk menahan kontaminasi data pelatihan. Para peneliti berpendapat bahwa mempelajari bagaimana model AI bernegosiasi, berkoordinasi, bersaing, dan memanipulasi satu sama lain dapat membantu peneliti mengevaluasi perilaku dalam lingkungan multi-agen sebelum agen otonom digunakan secara lebih luas. Studi ini memperingatkan bahwa meskipun tolok ukur seperti Agent Island dapat membantu mengidentifikasi risiko dari model AI otonom sebelum digunakan, simulasi dan catatan interaksi yang sama juga dapat membantu meningkatkan strategi persuasi dan koordinasi antar agen AI. “Kami mengurangi risiko ini dengan menggunakan pengaturan permainan berisiko rendah dan simulasi antar-agen tanpa partisipasi manusia atau tindakan dunia nyata,” tulis Murphy. “Namun, kami tidak mengklaim bahwa mitigasi ini sepenuhnya menghilangkan kekhawatiran penggunaan ganda.”