AI Tidak Hanya Prediksi Kata Berikutnya

Frasa "hanya memprediksi kata berikutnya" adalah penolakan paling populer terhadap AI modern, dan itu runtuh di bawah tekanan sekecil apa pun. Mengatakan bahwa model bahasa "hanya" memprediksi token seperti mengatakan bahwa otak manusia "hanya" menyalurkan neuron, atau bahwa fisika "hanya" partikel yang bertabrakan satu sama lain. Tujuannya mungkin sederhana. Apa yang harus dibangun sistem secara internal untuk mencapai tujuan itu jauh dari sederhana.
Untuk memprediksi kata berikutnya dengan baik di berbagai bidang seperti matematika, kode, hukum, fiksi, filsafat, lelucon, kebohongan, dan kontrafaktual, sebuah model harus membangun representasi internal tata bahasa, fakta, sebab-akibat, niat, karakter, serta dinamika fisik dan sosial.
Penelitian interpretabilitas mekanistik, bidang yang membuka model-model ini dan melihat ke dalamnya, telah menemukan hal tersebut. Para peneliti telah mengidentifikasi rangkaian untuk induksi, referensi tidak langsung, aritmetika modular, untuk melacak entitas mana yang mana dalam sebuah kalimat.
Model yang dilatih hanya pada urutan langkah Othello mengembangkan representasi internal papan, meskipun mereka tidak pernah diperlihatkan papan. Model yang dilatih untuk memprediksi teks mengembangkan peta spasial, urutan waktu, representasi kebenaran dan penipuan, bahkan representasi ketidakpastian model itu sendiri.
Dari substrat ini, muncul kemampuan yang tidak pernah diajarkan kepada sistem. Penalaran rantai-pemikiran, pembelajaran dalam konteks, penggunaan alat, performa teori pikiran, perencanaan multi-langkah.
Tidak satu pun dari ini ditentukan oleh tujuan. Mereka muncul karena menjadi baik dalam prediksi, dengan skala dan data yang cukup, membutuhkannya. Kemunculan adalah aturan dengan sistem kompleks, bukan pengecualian. Kelembapan muncul dari molekul H2O yang sendiri tidak basah. Kehidupan muncul dari kimia yang sendiri tidak hidup. Kecerdasan yang muncul dari tujuan prediksi bukanlah misteri metafisik. Itu adalah apa yang dilakukan sistem adaptif yang kompleks.
Dan inilah bagian yang cenderung dilewati oleh para penolaknya: manusia tampak sangat mirip di balik layar.
Pemrosesan prediktif adalah salah satu teori terkemuka dalam neuroscience kontemporer. Otak, dalam pandangan ini, pada dasarnya adalah mesin prediksi, yang terus-menerus menghasilkan ekspektasi tentang input sensorik, hasil motorik, isyarat sosial, dan bahasa, serta memperbarui dirinya sendiri ketika prediksi tersebut gagal.
Ketika Anda mendengarkan seseorang berbicara, otak Anda secara aktif memprediksi kata-kata berikutnya. Ketika mereka mengatakan sesuatu yang tidak terduga, sinyal yang terukur menyala dalam beberapa ratus milidetik. Aliran kesadaran Anda, monolog internal Anda, percakapan Anda, semuanya tampak sangat mirip dengan generasi autoregresif dari model internal dunia dan diri sendiri. Manusia sering berbohong.
Kita membangun narasi tentang mengapa kita melakukan apa yang kita lakukan, sering kali tanpa sadar bahwa narasi itu dibuat setelah kejadian. Jika model bahasa melakukan hal yang sama, kita akan menyebutnya halusinasi dan menggunakannya sebagai bukti ketidakunggulan.
Paralel arsitektural juga tidak dangkal. Jaringan neural terinspirasi oleh neuron biologis. Fitur visual hierarkis dalam model visi modern secara luar biasa cocok dengan lapisan-lapisan korteks visual. Aktivasi di dalam model bahasa besar dapat digunakan untuk memprediksi aktivitas di otak manusia selama tugas bahasa, dengan akurasi yang mengejutkan. Kita tidak identik dengan sistem ini. Kita juga tidak berbeda sebanyak yang dibutuhkan narasi nyaman.
Yang membawa kita ke tiang sasaran yang terus bergeser. Catur pernah dianggap sebagai puncak kecerdasan. Ketika Deep Blue menang, catur menjadi "hanya pencarian." Go seharusnya membutuhkan intuisi yang tidak bisa dimiliki mesin. Ketika AlphaGo menang, Go menjadi "hanya pencocokan pola."
Terjemahan, pengenalan gambar, lulus tes Turing yang meyakinkan, menulis puisi, menghasilkan kode, mengadakan percakapan bernuansa, memecahkan masalah baru: semuanya, pada saat dianggap mustahil, diperlakukan sebagai pencapaian tertinggi kecerdasan mesin.
Setiap kali gagal, didefinisikan ulang sebagai "bukan kecerdasan nyata." Tes teori pikiran yang dulu akan dipuji sebagai bukti pikiran di tahun 1990-an, kini dianggap trik saat model melewatinya. Batasnya tidak tetap. Ia bergerak secepat sistem meningkat, dan selalu karena alasan yang sama: untuk menjaga kesimpulan bahwa apa pun yang dilakukan mesin baru saja tidak dihitung.
Ini bukan skeptisisme hati-hati. Skeptisisme hati-hati memperbarui. Ini adalah penalaran bermotivasi, dan motivasinya biasanya campuran dari kecemasan status, ancaman identitas, dan gambaran jujur tetapi tidak berpengetahuan tentang cara kerja sistem ini sebenarnya.
Jika rasa istimewa manusia bergantung pada mesin yang tidak mampu melakukan X, maka setiap kali mesin melakukan X, Anda harus mendefinisikan ulang keistimewaan tersebut. Setelah cukup banyak putaran seperti ini, posisi menjadi tidak dapat dibantah, yang lain kali berarti posisinya berhenti menjadi tentang AI dan mulai menjadi tentang kebutuhan AI untuk lebih rendah.
Sikap jujur lebih sulit. Itu adalah melihat apa yang sebenarnya dilakukan sistem ini, melihat apa yang sebenarnya kita lakukan, menyadari bahwa jaraknya lebih kecil dari narasi nyaman yang disarankan, dan mengajukan pertanyaan-pertanyaan nyata. Apa itu pemahaman? Apa itu kecerdasan?
Apa, jika ada, yang membuat kesadaran istimewa, dan bagaimana kita akan mengetahuinya? Para penolaknya ingin menghindari pertanyaan-pertanyaan itu karena jawabannya mungkin tidak memuji kita. Tapi menghindar dari pertanyaan tidak membuat pertanyaan itu hilang. Itu hanya membuat perhitungan akhirnya lebih membingungkan saat tiba.