Konferensi Meja Bundar WAIC: Persoalan hidup dan mati manusia tidak boleh diserahkan kepada keputusan AI

2026 世界人工智慧大會（WAIC）hari ini dibuka di Shanghai. Zhang Lan, dekan Institut Tata Kelola AI Internasional Universitas Tsinghua; Nicholas B. Dirks, presiden dan CEO Akademi Sains New York; Mark Nitzberg, direktur eksekutif Pusat AI yang Kompatibel dengan Manusia (CHAI) di Universitas California, Berkeley, tampil dalam diskusi meja bundar yang berfokus pada tata kelola AI agent. Ketiganya memiliki kesepakatan yang tinggi: AI sedang beralih dari “membantu pengambilan keputusan” ke “tindakan otonom”, tetapi keputusan yang menyangkut kehidupan dan kematian, situasi yang tidak dapat dipulihkan, serta nilai etika sama sekali tidak boleh diserahkan kepada AI untuk memimpin. Manusia bisa memberi otorisasi agar AI melakukan tindakan, namun tidak bisa memberi otorisasi agar AI bertanggung jawab. Artikel ini merangkum dialog meja bundar tentang tata kelola AI agent di 2026 World Artificial Intelligence Conference.
（Latar belakang: CEO DeepMind mengusulkan agar dibentuk lembaga pengawasan internasional “review” untuk model AI mutakhir, yang harus lolos sebelum melantai)
（Tambahan konteks: Eksperimen AI: memberi Gemini 20.000 dolar AS untuk membuka kafe kopi fisik, dan mendapatkan tragedi yang tidak ingin dihadapi manusia）

Daftar isi

Toggle

• Bisa memberi otorisasi tindakan, tapi tidak bisa memberi otorisasi tanggung jawab
• Tiga jenis keputusan, sama sekali tidak boleh diserahkan ke AI
• Tiga batas bawah rekayasa untuk AI yang tepercaya

Ringkasan poin penting

• Meja bundar WAIC menilai AI sedang beralih dari “membantu pengambilan keputusan” ke “tindakan otonom”, yang merupakan versi digital dari masalah pendelegasian-perwakilan.
• Tiga garis merah: keputusan terkait hidup-mati, skenario yang tidak dapat dipulihkan, dan penilaian nilai etika—semuanya sama sekali tidak boleh dipimpin oleh AI.
• AI tepercaya harus memiliki tiga karakteristik rekayasa: fondasi yang kuat, transparan dalam operasi, dan bisa dikendalikan saat digunakan.

Ketika AI yang semula membantu mencari data dan memberi saran berubah menjadi entitas yang bisa memanggil alat sendiri serta langsung mengeksekusi pesanan, maka persoalan etika kuno akan mulai dihadapi oleh AI. Hari ini, 2026 World Artificial Intelligence Conference dibuka di Shanghai. Dalam sebuah diskusi meja bundar yang berfokus pada tata kelola AI agent, Zhang Lan, dekan Institut Tata Kelola AI Internasional Universitas Tsinghua; Nicholas B. Dirks, presiden dan CEO Akademi Sains New York; Mark Nitzberg, direktur eksekutif Pusat AI yang Kompatibel dengan Manusia (CHAI) di Universitas California, Berkeley menarik topik ke sebuah titik balik penting: AI sedang beralih dari “membantu pengambilan keputusan” ke “tindakan otonom”, menjadi agen cerdas yang menggantikan manusia untuk melakukan sesuatu.

Para pembicara menekankan bahwa ini sebenarnya merupakan versi baru dari masalah pendelegasian-perwakilan yang klasik di era digital. Masalah pendelegasian-perwakilan adalah ketika Anda meminta seseorang untuk bekerja atas nama Anda, tetapi pihak tersebut belum tentu sepenuhnya menjalankan sesuai keinginan Anda. Bedanya terletak pada: agen manusia setidaknya berbagi seperangkat akal sehat dan mekanisme akuntabilitas bersama dengan Anda, sedangkan AI memiliki dua masalah besar

• Pertama adalah “tujuan tidak selaras”; tujuan yang ingin dicapai mungkin tidak cocok dengan yang Anda inginkan
• Kedua, ia adalah “kotak hitam”; proses kerjanya tidak bisa dilihat, dan jika terjadi masalah pun ia tidak bisa menanggung tanggung jawab hukum.

Bisa memberi otorisasi tindakan, tapi tidak bisa memberi otorisasi tanggung jawab

Karena AI tidak bisa memikul tanggung jawab, maka akuntabilitas harus bergeser ke seluruh rantai eksekusi. Para tamu mengusulkan bahwa tanggung jawab harus melekat pada setiap tahap seperti pengembang, pihak yang menerapkan, dan regulator, bukan dilempar ke model “yang mengambil keputusan” itu. Ini juga berarti bahwa menjadikan AI sebagai objek untuk dijadikan kambing hitam sejak awal memang salah arah.

Manusia bisa memberi otorisasi tindakan kepada AI, tapi tidak bisa memberi otorisasi tanggung jawab kepada AI. Setiap kali ada otorisasi harus bisa dicabut, dan setiap tindakan harus bisa ditelusuri untuk dimintai pertanggungjawaban.

Tiga jenis keputusan, sama sekali tidak boleh diserahkan ke AI

Pada urusan apa sebaiknya langsung menginjak rem, tiga narasumber mencapai kesepakatan tinggi dan dengan tegas menggambar tiga garis merah—sama sekali tidak boleh diserahkan kepada AI untuk memimpin.

• Keputusan yang melibatkan konsekuensi hidup-mati
• Skenario yang jika keliru maka tidak bisa dipulihkan
• Semua masalah yang melibatkan penilaian etika dan nilai,

Ini bukan soal mau atau tidak memakai AI, melainkan soal sejak awal ada hal-hal yang tidak seharusnya menjadi penentu oleh AI.

Tiga batas bawah rekayasa untuk AI yang tepercaya

Prinsip saja tidak cukup—bagaimana menerapkannya? Dalam mekanisme keselamatan, para tamu mengajukan bahwa AI tepercaya harus memenuhi tiga karakteristik rekayasa: fondasi yang kuat, transparan dalam operasi, dan bisa dikendalikan saat digunakan. Dari sisi kelembagaan, perlu juga mengatur strategi yang lebih besar: membangun standar penilaian keselamatan AI yang seragam secara global, sistem uji yang saling mengakui, serta mekanisme berbagi data insiden; menetapkan garis merah dalam pengembangan AI; dan membangun pemantauan peringatan dini untuk mendorong keselamatan AI menjadi kepentingan publik global.

Pada akhirnya, Zhang Lan dkk mengangkat pembahasan ke level yang lebih tinggi: batas tata kelola AI bukanlah titik akhir dari teknologi, melainkan titik awal bagi manusia untuk kembali mengenali nilai, tanggung jawab, dan arah peradaban mereka. Dengan kata lain, proses menggambar garis untuk AI pada dasarnya adalah proses penataan ulang posisi manusia itu sendiri.

Semua ini masih dibahas dari sisi etika dan mungkin masih jauh dari perkembangan AI yang nyata.

Pertanyaan yang umum

Apa itu masalah “pendelegasian-perwakilan” pada AI agent?

Masalah pendelegasian-perwakilan berarti Anda mendelegasikan urusan kepada pihak lain untuk bekerja, tetapi pihak itu belum tentu melakukan sesuai keinginan Anda. Ketika AI agent bertindak otonom atas nama manusia, karena kemungkinan terjadi ketidaksejajaran tujuan dan karena ia adalah kotak hitam yang tidak bisa menanggung tanggung jawab hukum, maka masalah klasik ini menjadi semakin rumit di era digital.

Keputusan apa yang tidak boleh diserahkan kepada AI untuk memimpin?

Dalam diskusi meja bundar WAIC, para tamu sepakat bahwa keputusan yang menyangkut konsekuensi hidup-mati, skenario yang jika terjadi kesalahan tidak bisa dipulihkan, dan semua keputusan yang melibatkan penilaian etika dan nilai tidak boleh dipimpin oleh AI. Manusia bisa memberi otorisasi tindakan kepada AI, tetapi tidak bisa memberi otorisasi agar AI bertanggung jawab.