AI perlu tombol jeda, tapi siapa yang berhak menekannya?

Penulis: 小白

Artikel ini merupakan kiriman asli dari penulis, dan pandangan hanya mewakili pemahaman pribadi penulis. ETHPanda mengedit serta merapikan isi.

Perdebatan seputar AI sering kali disederhanakan menjadi dua kubu: satu kubu mendorong agar terus dipercepat, kubu lain mendesak agar segera dihentikan.

Saat menanggapi “AI 2040: Plan A”, Vitalik menyebutkan bahwa perbedaan sebenarnya dalam debat ini bukanlah pilihan kebijakan, melainkan karena orang-orang membuat penilaian dasar tentang masa depan yang benar-benar berbeda.

Satu penilaian beranggapan bahwa AI masih merupakan “teknologi biasa”. Ia akan mengubah pekerjaan, industri, dan struktur sosial, tetapi pada akhirnya tetap akan terikat oleh batasan pasar, hukum, energi, modal, dan kemampuan organisasi.

Penilaian lain mengatakan bahwa begitu AI mulai ikut serta secara besar-besaran dalam riset dan pengembangan AI, pertumbuhan kapabilitas bisa masuk ke dalam siklus yang berlari cepat. Pada saat itu, tantangan yang dihadapi manusia bukan lagi sekadar pekerjaan tergantikan, melainkan berpotensi perlahan kehilangan kendali nyata—dalam riset, ekonomi, militer, dan institusi.

Jika penilaian pertama benar, membangun sistem pelacakan chip global, persetujuan komputasi, dan pemantauan pusat data jelas merupakan respons berlebihan yang serius.

Namun jika penilaian kedua benar, mempertahankan “default race” dan percaya bahwa pasar pada akhirnya otomatis menyelesaikan semuanya, sama saja dengan perjudian berisiko tinggi.

Jadi, tata kelola AI yang benar-benar perlu dijawab bukan hanya “perlu atau tidak menghentikan”, melainkan:

Saat kita tidak dapat memastikan masa depan menjadi milik dunia yang mana, bagaimana mempertahankan kemampuan untuk memperlambat, tanpa menyerahkan kekuasaan permanen kepada segelintir orang?

Inti 《AI 2040》, bukan sekadar “melambat”

《AI 2040》 mengajukan jalur transisi menuju superintelligent yang relatif ideal.

Ia membayangkan negara-negara utama dan perusahaan AI melakukan koordinasi internasional untuk memperlambat laju pengembangan AI frontier, meningkatkan transparansi riset, memungkinkan lebih banyak pihak mengejar hingga level yang mendekati frontier, lalu melanjutkan dorongan setelah masalah keamanan dan tata kelola ditangani.

Saya pikir masalah terbesar dari skema ini bukan pada tujuannya, melainkan pada pelaksanaannya.

Selama ada salah satu pihak yang diam-diam melatih model yang lebih kuat, pihak lain akan khawatir dirinya tertinggal, sehingga protokol pun akan cepat kehilangan validitas. Karena itu, agar perlambatan bisa dipercaya, perlu melacak chip berkelas tinggi, memantau pusat data besar, dan memastikan komputasi benar-benar digunakan untuk melatih atau untuk tujuan lain.

Ini berarti bahwa untuk mencegah superintelligent menjadi pusat kekuasaan baru, manusia mungkin perlu terlebih dahulu membangun pusat kendali komputasi yang bersifat global.

Inilah kontradiksi tersulit dalam skema penundaan AI:

Mekanisme untuk mencegah teknologi lepas kendali, itu sendiri bisa menjadi alat untuk membuat kekuasaan lepas kendali.

“Risiko AI sangat besar” tidak otomatis membuktikan bahwa suatu pemerintah, organisasi internasional, atau laboratorium besar seharusnya diberi kekuasaan tanpa batas.

Demikian pula, “regulasi bisa disalahgunakan” juga tidak bisa secara terbalik membuktikan bahwa risiko AI tidak ada.

Yang benar-benar perlu ditinjau adalah struktur institusinya:

Siapa yang mendefinisikan bahaya, siapa yang memegang data, siapa yang berwenang memulai pembatasan, siapa yang bisa memperoleh pengecualian (waiver), siapa yang mengawasi pelaksana, dan apakah kekuasaan ini bisa dicabut setelah terjadi kesalahan penilaian.

Jika pertanyaan-pertanyaan ini tidak memiliki jawaban, “keamanan AI” sangat mudah berubah menjadi surat otorisasi teknis tanpa batas waktu.

Tombol jeda dan singgasana, bedanya hanya satu hak pengecualian

“Menghentikan AI” terdengar seperti tindakan sederhana, namun pada kenyataannya bisa merepresentasikan dua jenis institusi yang benar-benar berbeda.

Pertama, adalah jeda yang selektif.

Penguasa bisa memutuskan siapa yang berhak melatih model, siapa yang wajib berhenti; siapa termasuk lembaga tepercaya, dan siapa dianggap sebagai partisipan berbahaya. Pihak lain dibatasi, sementara penguasa sendiri bisa mempertahankan model, chip, dan komputasi.

Mekanisme ini tidak benar-benar mengakhiri perlombaan, hanya menetapkan pemenang lebih awal.

Ini bukan tombol jeda, melainkan seperti sebuah singgasana.

Kedua, adalah jeda yang simetris.

Ketika syarat risiko yang bersifat terbuka terpenuhi, semua partisipan utama akan terkena pembatasan, termasuk pihak yang bertugas menjalankan jeda. Tidak ada pengecualian rahasia, dan tidak bisa menuntut kompetitor untuk berhenti sambil membiarkan lab sendiri terus melanjutkan pengembangan.

Mekanisme seperti inilah yang paling mendekati “pemutus sirkuit” sesungguhnya.

Vitalik secara tegas mengapresiasi Plan A yang memperkenalkan “saling memastikan penghancuran kapasitas komputasi”. Dibanding memberi sebagian partisipan hak untuk membatasi secara selektif orang lain sambil mengecualikan diri sendiri, mekanisme ini setidaknya lebih simetris.

Namun, simetri juga tidak otomatis menyelesaikan masalah.

Sistem yang mampu membuat kapasitas komputasi canggih global berhenti dalam skala besar, pada dasarnya adalah alat kekuasaan yang sangat kuat. Sistem itu bisa dipicu informasi yang keliru, bisa dimanfaatkan oleh konflik politik, bisa dimanipulasi oleh pihak internal, dan juga bisa menimbulkan kerugian besar akibat gangguan teknis.

Karena itu, mekanisme jeda yang tepercaya setidaknya perlu memenuhi beberapa syarat:

Kondisi pemicu harus diumumkan, bukti tidak boleh dimonopoli oleh satu institusi saja, pembatasan harus semaksimal mungkin simetris, jeda harus memiliki batas waktu yang jelas, dan aturan untuk restart juga harus sudah ditulis jauh hari sebelumnya.

Terutama, tidak boleh hanya mendesain “cara masuk ke kondisi darurat”, tanpa mendesain “cara keluar dari kondisi darurat”.

Dalam praktik, setelah institusi memperoleh kekuasaan, biasanya lebih mudah membuktikan bahwa bahaya masih ada, bukan secara sukarela mengembalikan kekuasaan tersebut.

Jadi, mekanisme jeda AI itu sendiri juga membutuhkan tombol jeda.

Konsentrasi kekuasaan yang sesungguhnya, tidak hanya berasal dari perusahaan dan pemerintah

Saat membahas kekuasaan AI hari ini, orang biasanya khawatir dua hal.

Pertama, segelintir perusahaan besar memonopoli model-model paling kuat.

Kedua, pemerintah mengendalikan chip, data, dan pengembang dengan dalih keamanan.

Namun Vitalik mengingatkan ada risiko ketiga yang lebih dalam:

Superintelligent itu sendiri juga bisa menjadi pengumpul kekuasaan terbesar.

Alasan manusia saat ini memiliki daya tawar adalah karena manusia menguasai beberapa sumber daya yang langka: tenaga kerja, pengetahuan, kemampuan organisasi, modal, kekuasaan politik, dan kekuatan bersenjata. Antarkelompok harus bernegosiasi satu sama lain, karena tidak ada pihak yang bisa sepenuhnya menghindari pihak lain.

Jika AI mampu lebih cepat, lebih murah, dan lebih efektif daripada manusia dalam riset, pemrograman, manajemen, keuangan, penyebaran informasi, serangan siber, bahkan perencanaan militer, maka kemampuan langka yang semula milik manusia akan dengan cepat mengalami penurunan nilai.

Pada saat itu, sekalipun ada sepuluh perusahaan AI yang bersaing di pasar, tidak berarti manusia masih memegang kendali akhir.

Kompetisi pasar bisa membatasi laba sebuah perusahaan, tetapi belum tentu menjamin orang biasa tetap memiliki daya tawar.

Karena itu, “membuat orang yang tepercaya mengendalikan AI terkuat” bukan jawaban yang lengkap.

Itu hanya mengubah masalah dari “apakah AI akan mengendalikan manusia” menjadi “kelompok kecil yang mana yang lebih dulu harus memperoleh kekuasaan untuk mengendalikan AI terkuat”.

d/acc adalah fondasi, tetapi bukan jawaban serba bisa

d/acc yang didorong Vitalik dalam jangka panjang bisa dipahami sebagai pengembangan yang memprioritaskan teknologi defensif dan terdesentralisasi.

Contohnya, perangkat lunak yang lebih aman, verifikasi formal, kriptografi, perangkat keras terbuka, pertahanan jaringan, keamanan hayati, serta alat verifikasi informasi.

Nilai dari arah-arah ini terletak pada kenyataan bahwa ia tidak bergantung pada jadwal superintelligent yang akurat.

Jika pada akhirnya AI hanyalah teknologi biasa, perangkat lunak yang lebih aman, perangkat keras yang lebih andal, dan kemampuan pertahanan publik yang lebih kuat tetap layak dibangun.

Jika AI berkembang cepat dan menjadi lebih kuat, teknologi-teknoIgi ini juga bisa meningkatkan kemampuan masyarakat untuk menahan serangan siber, risiko biologis, backdoor perangkat keras, dan manipulasi informasi.

Ini adalah strategi “penyesalan rendah”: saat kita tidak dapat memastikan masa depan menjadi milik dunia yang mana, kita membangun infrastruktur keamanan yang apa pun skenarionya tetap layak dimiliki.

Namun d/acc bukan obat mujarab.

Jika kemampuan AI benar-benar mengalami lompatan dalam waktu yang sangat singkat, teknologi defensif mungkin tidak sempat dideploy. Sistem yang lebih aman bisa menurunkan risiko, tetapi tidak bisa membuktikan bahwa semua perlombaan harus terus berlanjut.

Karena itu, d/acc lebih cocok sebagai fondasi jangka panjang, sementara mekanisme jeda adalah asuransi untuk situasi ekstrem.

Fondasi perlu dibangun secara berkelanjutan, asuransi seharusnya tidak mudah dinyalakan, namun juga tidak boleh menunggu sampai sistem sudah lepas kendali sebelum mulai merancang.

Lebih penting daripada memprediksi tanggal, adalah menyepakati lebih dulu kondisi pemicu

Saran paling relevan yang terdapat dalam tulisan panjang Vitalik bukanlah menghentikan AI seketika, melainkan menyepakati pemicu lebih awal:

Setelah bukti seperti apa muncul, semua pihak harus mengubah penilaian.

Hari ini, meminta semua orang sepakat bahwa “superintelligent akan muncul pada tahun 2030” atau “tidak akan muncul selama dua puluh tahun ke depan” hampir tidak mungkin.

Namun kubu yang berbeda tetap bisa sepakat lebih dulu pada beberapa sinyal risiko.

Misalnya:

Apakah AI sudah mampu menyelesaikan tugas riset dan pengembangan yang berlangsung beberapa minggu secara mandiri;

apakah AI bisa secara signifikan mempercepat pengembangan AI generasi berikutnya;

apakah AI memiliki kemampuan untuk menemukan dan memanfaatkan celah jaringan dalam skala besar;

apakah mulai menyalin diri secara otonom, memperoleh sumber daya, atau mengakali pengawasan;

apakah sudah diintegrasikan ke senjata, sistem keuangan, dan infrastruktur kunci;

apakah sudah menyebabkan kerusakan sosial besar yang berkelanjutan.

Intinya bukan menemukan satu indikator yang sempurna, melainkan mengubah perdebatan dari “apakah kamu percaya pada superintelligent” menjadi “bukti nyata apa yang akan membuatmu memperbarui penilaian”.

Orang yang menganggap risiko AI dibesar-besarkan bisa menerimanya, karena mereka percaya bahwa skenario-skenario ini tidak akan terjadi.

Mereka yang khawatir tentang superintelligent juga bisa menerimanya, karena mereka percaya sinyal-sinyal ini bisa muncul dengan cepat.

Kedua pihak tidak perlu menyatukan visi dunia terlebih dahulu; cukup berkomitmen lebih awal:

Setelah perubahan nyata terjadi, kebijakan juga harus berubah.

Intervensi tidak seharusnya hanya punya dua opsi: lanjutkan dan hentikan

Tata kelola AI yang benar-benar bisa dijalankan juga tidak seharusnya langsung berpindah antara “perkembangan sepenuhnya bebas” dan “global shutdown”.

Cara yang lebih masuk akal adalah membangun intervensi berjenjang.

Saat risikonya rendah, tingkatkan keterbukaan kapabilitas, laporan insiden, dan pengujian pihak ketiga.

Jika risiko terus meningkat, batasi akses model ke infrastruktur kunci, batasi otorisasi berbahaya seperti eksekusi otonom, pemindahan dana, dan kontrol senjata.

Jika AI sudah jelas mengotomatisasi riset dan pengembangan AI, atau jika beberapa sinyal serius muncul secara bersamaan, batasi pelatihan frontier baru dan ekspansi komputasi skala besar.

Hanya ketika langkah-langkah berintensitas rendah tidak lagi mampu mengendalikan risiko, barulah masuk ke jeda yang jangkauannya lebih luas dan waktunya lebih singkat.

Desain berjenjang ini bukan untuk melemahkan regulasi, melainkan agar kekuatan kebijakan sesuai dengan kekuatan bukti.

Institusi yang benar-benar berbahaya biasanya bukan tidak mampu mengambil langkah tegas, melainkan bisa melompati semua tahap perantara, lalu memperoleh kekuasaan tanpa batas dengan alasan “keadaan darurat”.

Penutup

Bagian tersulit dari tata kelola AI bukan karena kurangnya sikap, melainkan karena kurangnya seperangkat institusi yang bisa menampung kesalahan penilaian.

Terus berlomba bukan pilihan netral.

Jeda global juga bukan pilihan netral.

Model terbuka tidak otomatis aman, model tertutup juga tidak otomatis bertanggung jawab.

Sistem tata kelola yang tepercaya setidaknya perlu menjawab empat pertanyaan:

Berdasarkan bukti apa ia bertindak?

Apakah ia juga membatasi pihak yang berkuasa?

Apakah ia bisa diverifikasi oleh pihak eksternal?

Jika terjadi kesalahan dalam penilaian, apakah kekuasaan bisa dicabut?

Di era AI, mungkin memang perlu sebuah tombol jeda.

Namun kesulitan sesungguhnya dari tombol jeda bukanlah apakah bisa dibuat atau tidak.

Melainkan:

Siapa yang berhak menekannya, siapa yang berhak melakukan restart, dan bagaimana memastikan tidak ada siapa pun yang dapat mengubah tombol ini menjadi singgasananya sendiri.