Hari ini berita ini langsung mengguncang dunia AI! @SentientAGI memimpin proyek baru bernama SPIN-Bench bersama Princeton dan UT Austin, awalnya saya kira ini hanya "sastra akademis yang penuh rumus", tetapi setelah melihat lebih dekat—saya langsung bingung!

Secara sederhana, ini adalah "universitas sosial" untuk AI, yang khusus mengajarkan mereka bermain "permainan hubungan antar manusia": bukan satu AI yang menyelesaikan masalah sendirian, melainkan sekumpulan AI yang berkumpul untuk "pertarungan besar", mereka harus berkolaborasi dan berstrategi, serta bisa bernegosiasi—ini seperti membiarkan ChatGPT meninggalkan bank soal untuk bermain "Sanguosha", tidak hanya harus mengingat kartu, tetapi juga harus menebak apakah rekan satu timnya seorang pengkhianat, dan apakah lawan akan menipunya!

Dulu menguji AI terasa sangat asal-asalan? Satu tanya satu jawab seperti perlombaan 100 meter, selesai setelah selesai. Sekarang SPIN-Bench langsung dipompa ke level "Triathlon PLUS": harus merencanakan strategi jangka panjang (misalnya bagaimana beraliansi), beradaptasi dengan teman yang tidak kompeten, menghindari serangan dari lawan, dan harus tahan dengan situasi darurat—ini bukan ujian, jelas-jelas ini membuat AI terjun ke dalam "dunia geng"!

Namanya penuh dengan pemikiran kecil: SPIN=Perencanaan Strategis (bisa menghitung jalan keluar), Interaksi (bisa mengobrol), Negosiasi (bisa menawar)——terjemahan ke dalam bahasa manusia adalah panduan bertahan hidup versi AI dari "Game of Thrones"! Dari membongkar tugas jangka panjang (seperti merencanakan cara menyelesaikan level), hingga bermain catur dengan orang lain (murni saling menjebak), kemudian bermain kartu kerjasama (menyimpan rahasia dan tidak berani mengungkapkan semuanya), dan akhirnya harus berurusan dengan diplomasi (hari ini beraliansi denganmu, besok mungkin menjualmu), setiap langkah memaksa AI untuk berpikir keras, bukan hanya mengandalkan kekuatan komputasi untuk bisa lolos!

Dan pekerjaan ini sangat sulit: setiap AI harus mengikuti proses "melihat situasi → mengirim pesan → melakukan tugas utama", dengan batasan jumlah kata dan waktu hanya 10 detik—sama persis dengan situasi ketika kamu bermain game dan ingin memberitahu teman satu timmu "saya akan mencuri tower, kalian bertahan", tetapi takut terlihat oleh lawan, benar-benar seperti "ujian sosial AI"!

Lebih parah lagi, setiap kali pengujian dicatat secara lengkap (siapa yang melakukan apa, mengatakan apa, dan mendapatkan hadiah apa), ingin berpura-pura pintar dan lolos? Tidak ada peluang! Apakah kamu benar-benar mengerti sosial, atau hanya berpura-pura mengerti seperti "AI licik", sekali cek log semua terbongkar!

Yang paling penting adalah, benda ini untuk pertama kalinya bisa menilai "kecerdasan sosial" AI! Dulu mengukur AI adalah "apakah ia bisa menyelesaikan soal", sekarang adalah "apakah ia bisa berperilaku sebagai manusia" - akhirnya kita bisa mengerti, apakah AI benar-benar memahami seluk-beluk kehidupan manusia, atau hanya "mesin pengganti" yang membaca naskah! Inilah ujian akhir untuk mengukur "kecerdasan sejati" AI!

@SentientAGI