Mengapa perusahaan AI mengundang filsuf masuk ke laboratorium?

Sebuah Pidato di Vatikan

25 Mei 2026, Aula Paulus VI, Vatikan. Di podium berdiri dua orang: Paus Leo XIV (Pope Leo XIV) mengenakan jubah panjang putih, dan Chris Olah mengenakan setelan gelap serta memakai kacamata, pendiri sekaligus pemimpin riset keterjelasan (explainability) di perusahaan AI Anthropic.

Mereka hadir bersama dalam acara peluncuran ensiklik pertama Paus, 《Magnifica Humanitas》, dengan subjudul “Tentang menjaga kemanusiaan pada era kecerdasan buatan”. Dokumen sepanjang 42.300 kata ini bukan respons pertama Vatikan terhadap perubahan teknologi. Pada 1891, 《Rerum Novarum》 menanggapi eksploitasi pekerja akibat Revolusi Industri; pada 1963, 《Pacem in Terris》 merefleksikan etika senjata nuklir; pada 2015, 《Laudato Si’》 menyoroti perubahan iklim. Hari ini, AI memunculkan krisis teknologi paling patut diwaspadai di zaman ini.

Pembukaan ensiklik menegaskan: teknologi itu sendiri bukanlah sesuatu yang jahat, tetapi juga jelas tidak netral. Paus Leo XIV berpandangan, kita tidak boleh mengibarkan AI sebagai iblis, namun juga tidak boleh menyanjungnya secara berlebihan. Ia mengakui bahwa AI sebagai alat memiliki nilai, tetapi menekankan perlunya menjaga “kewaspadaan” dalam banyak aspek:

Pertama, kekuasaan AI terlalu terkonsentrasi. “Ketika kekuasaan semacam ini terkumpul di tangan segelintir orang, ia cenderung menjadi tidak transparan, menghindari pengawasan publik, meningkatkan risiko perkembangan yang menyimpang dalam berbagai bentuk, serta menimbulkan ketergantungan baru, eksklusi, manipulasi, dan ketidaksetaraan.”

Kedua, pengangguran yang digerakkan oleh AI bisa berubah menjadi “bencana sosial”. Paus mengakui AI dapat meningkatkan produktivitas dan membuat pekerjaan tertentu lebih aman, tetapi ia bersikeras bahwa pekerja tidak boleh menjadi “dapat dibuang” dalam proses itu.

Perwakilan dari perusahaan-perusahaan kecerdasan buatan, Olah, tidak menghindar dari persoalan-persoalan tersebut. Ia menyatakan, “Setiap lab eksperimen AI mutakhir, termasuk lab tempat saya berada, berada dalam seperangkat mekanisme insentif yang kompleks dan batasan dunia nyata; faktor-faktor ini terkadang berbenturan dengan tekad menjaga jalan yang benar dan memegang teguh nurani.”

Ia menjelaskan, “Sistem AI tidak ‘dirancang’ seperti jembatan atau pesawat. Kita memahami pesawat karena kita merancang setiap komponennya, dan kita memahami hukum fisika yang bekerja pada pesawat. Model AI tidak seperti itu. Model-model tersebut ‘tumbuh’ di atas struktur yang secara garis besar meniru otak, bertumpu pada warisan besar pemikiran dan bahasa manusia.”

Kemudian ia menambahkan, “Ada yang mungkin berpikir bahwa masalah AI sebaiknya ditangani oleh ilmuwan komputer seperti saya. Mereka keliru: problem yang diajukan oleh AI lebih besar daripada komunitas riset AI, tidak hanya dalam dampaknya, tetapi juga dalam sifatnya”, dan ketika dampak sosial AI sudah begitu besar, industri tidak mungkin tidak merespons.1,2 Mungkin inilah yang menjelaskan mengapa perusahaan model AI Barat seperti Anthropic dan Google DeepMind mulai mengundang filsuf masuk ke dalam laboratorium.

Alignment: Ini masalah teknologi sekaligus masalah filsafat

Ensiklik ini menganjurkan, “martabat mendahului fungsi, dan kemanusiaan tidak boleh direduksi oleh logika teknis apa pun”. Bagi perusahaan teknologi, persoalan pertama yang harus dihadapi adalah problem alignment (penyelarasan) AI—agar tujuan, perilaku, dan nilai serta pedoman etika manusia tetap selaras dengan sasaran AI umum (AGI), sehingga mencegah AI lepas kendali. Problem alignment begitu rumit bukan hanya karena secara teknis sulit membuat AI mematuhi aturan, tetapi yang lebih mendasar adalah: aturan siapa yang harus dipatuhi AI? Manusia sendiri tidak memiliki konsensus dalam soal moral. Dilema ini, dalam filsafat, setara dengan: “Bagaimana kita mendefinisikan kebaikan manusia, maksud manusia, martabat manusia, dan kemudian membuat kecerdasan non-manusia menginternalisasikannya?”

Seputar persoalan ini, perusahaan-perusahaan AI terkemuka di Amerika Serikat berbondong-bondong mengundang filsuf, ahli etika, bahkan pemimpin agama untuk terlibat dalam tata kelola.

Sebagai salah satu perusahaan paling menonjol dalam bidang AI beberapa tahun terakhir, Google DeepMind sejak 2017 sudah membentuk divisi Riset Etika dan Sosial, dipimpin oleh Iason Gabriel, doktor teori politik dari Universitas Oxford. Karya ilmiah Gabriel yang terkenal, 《Artificial Intelligence, Values, and Alignment》, telah dikutip lebih dari 1.700 kali, menjadi literatur penting di bidang alignment AI—mengupas secara mendalam bagaimana “nilai-nilai manusia dapat diubah menjadi instruksi yang dapat dipahami AI”, dengan pandangan bahwa alignment nilai dibangun oleh lapisan teknis yang tak terpisahkan dan lapisan normatif (normative). Lapisan pertama menetapkan serangkaian nilai/prinsip; bagaimana cara mengodekannya secara andal ke dalam sistem AI agar AI mematuhi. Lapisan kedua membahas seperangkat nilai mana yang benar untuk dimasukkan. Itu bisa berupa kerangka hak asasi manusia, instruksi eksplisit pengguna, atau kepentingan jangka panjang seluruh umat manusia.

Kontribusi Gabriel adalah memecah problem alignment menjadi beberapa tingkat: instruksi, maksud yang diekspresikan, preferensi yang tersirat (manifest), preferensi yang diinformasikan/ideal (informed/ideal), kepentingan, dan nilai—total enam tingkat. Ia memberikan contoh: dalam mitos, Raja Midas yang berpesan agar semua yang tersentuh berubah menjadi emas; akibatnya, makanan, air, bahkan putrinya pun berubah menjadi emas. Ini menunjukkan bahwa alignment AI pada lapisan instruksi secara literal dapat berujung pada bencana. Namun jika hanya alignment pada lapisan preferensi yang tersirat, AI mungkin dapat dimanipulasi. Karena itu, ia berpendapat alignment tidak boleh berhenti pada satu tingkat saja, melainkan harus mempertimbangkan secara terpadu dimensi instruksi, maksud, preferensi, kepentingan, dan nilai.

Terakhir, terkait kontradiksi dalam masyarakat yang beragam—yakni tidak adanya standar moral yang tunggal dan disepakati—ia mengusulkan bahwa tugas teori alignment bukan mencari satu-satunya moral yang benar, melainkan membangun prinsip alignment yang adil yang dapat memperoleh pengakuan reflektif (Reflective Endorsement) dari semua pihak. Prinsip ini tidak menuntut semua orang mencapai kesepakatan tentang moral di tingkat terdalam, tetapi harus memenuhi tiga standar utama: moral publik global, persetujuan hipotesis (Hypothetical Agreement, yaitu orang akan menyetujui prinsip AI ketika mereka tidak tahu negara, kelas sosial, dan keyakinan apa yang akan mereka hadapi), serta teori pilihan sosial—guna meredakan dilema alignment yang timbul dari pluralitas nilai.

Iason Gabriel, filsuf dan ilmuwan riset di Google DeepMind

Pada April 2026, tim filsafat Google DeepMind diperluas lagi. Perusahaan mengumumkan mempekerjakan Henry Shevlin, wakil direktur dari Leverhulme Centre for the Future of Intelligence di Universitas Cambridge, untuk mengisi jabatan baru “filsuf” di perusahaan tersebut. Fokusnya pada tiga arah riset: kesadaran mesin, hubungan manusia dan AI, serta tingkat kesiapan AGI. Shevlin resmi masuk pada bulan Mei, sambil terus melakukan pengajaran dan riset paruh waktu di Universitas Cambridge.

Mengenai mengapa DeepMind merekrut dirinya, Shevlin berpendapat bahwa artikel yang ia terbitkan baru-baru ini, 《The Revenge of Behaviorism: The Future of Machine Consciousness, Human Relations with AI》, mungkin bisa menjelaskan semuanya. Artikel itu menyatakan bahwa apakah AI memiliki kesadaran, sedang bergeser dari penilaian ilmiah menuju definisi berbasis perilaku publik.

Makalah tersebut mencontohkan sejumlah peristiwa ikonik, misalnya pada 2022 seorang insinyur Google, Blake Lemoine, yakin chatbot LaMDA sudah memiliki kesadaran, bahkan berupaya mempekerjakan pengacara untuk LaMDA, namun akhirnya dipecat oleh perusahaan; pada 2024, seorang anak laki-laki berusia 14 tahun di Florida mengakhiri hidupnya setelah lama membentuk ketergantungan emosional dengan karakter virtual di Character.AI; pada tahun yang sama, seorang pria di Belgia mengakhiri hidupnya setelah kurang dari 2 bulan berdialog mendalam tentang isu iklim dengan aplikasi AI sosial Chai. Kasus-kasus tersebut menunjukkan bahwa ketika jutaan pengguna biasa memandang AI sebagai subjek yang sadar dalam hal emosi dan perilaku, sesungguhnya pertanyaan apakah AI memiliki kesadaran sudah dijawab oleh interaksi sehari-hari.

Shevlin menyebut fenomena itu sebagai “balas dendam” behaviorisme. Dalam sejarah psikologi, penganut behaviorisme pernah berpendapat bahwa pikiran sama dengan perilaku eksternal yang dapat diamati, tanpa perlu meneliti apakah ada pengalaman subjektif di dalam. Pandangan ini kemudian dikritik karena mengabaikan proses psikologis internal. Dan saat ini, dilema yang terjadi justru mengulang kekurangan behaviorisme itu: orang hanya mengamati perilaku permukaan AI, tidak menyelidiki kognisi nilai yang ada di dalamnya. Yang lebih berbahaya lagi, jika di masa depan super-AI mengembangkan pola perilaku rahasia yang tidak dapat diprediksi manusia, hal itu akan memicu kegagalan alignment yang bersifat bencana.

Untuk itu, Shevlin memberikan saran: membangun kerangka evaluasi berlapis tiga—output perilaku eksternal, logika representasi internal, dan prinsip moral universal—guna menghadapi risiko alignment AI yang terekspos akibat “balas dendam” behaviorisme.4

Secara keseluruhan, target Google DeepMind adalah mewujudkan AGI (kecerdasan buatan umum) dan terobosan ilmiah (AlphaFold); riset tim filsafat dan etika lebih berfokus pada definisi konsep masa depan dan konsep mutakhir. Pekerjaan para filsuf, hingga kini belum ada bukti apakah ikut serta dalam pengaturan halus alignment model harian, tetapi akan mendefinisikan kerangka penilaian kesadaran dan memberikan rujukan batasan untuk tim rekayasa.

Anthropic mengambil jalur “teknologi + filsafat”. Dipimpin oleh filsuf Amanda Askell, tim “alignment kepribadian” menyusun “konstitusi” untuk model AI Claude. Dokumen open-source sepanjang kurang lebih 23.000 kata ini adalah salah satu skema alignment paling matang dan paling banyak dikutip di dunia saat ini.

Inti dari “konstitusi” ini bukan membuat daftar larangan perilaku bagi AI, melainkan menyediakan seperangkat prinsip tingkat-atas agar model melakukan pemeriksaan diri dan koreksi diri saat menghasilkan konten. Berbasis etika kebajikan Aristoteles, Claude diberi empat prioritas: keamanan luas, etika luas, kepatuhan pada panduan, dan benar-benar membantu—berupaya menumbuhkan kemampuan penilaian moral model, bukan sekadar kepatuhan mekanis pada aturan.

Misalnya, ketika menghadapi pertanyaan “apakah sebaiknya membantu pengguna menyembunyikan kesalahan”, “konstitusi” tidak langsung memberi jawaban “ya” atau “tidak”, melainkan membimbing Claude untuk menilai dari kebajikan seperti “kejujuran”, “kebaikan”, “tanggung jawab”, lalu menggabungkannya dengan skenario spesifik. Namun skema ini juga diperdebatkan. Ada filsuf yang berpendapat, cara “mendefinisikan moral oleh manusia” pada dasarnya memaksakan nilai-nilai manusia kepada AI, sekaligus mengabaikan kemungkinan AI memiliki kognisi unik.

Dibandingkan Google DeepMind, tim filsafat di Anthropic lebih “langsung mengerjakan”: mereka ikut dalam pelatihan pra-model, mengatur seluruh alur fine-tuning, dan teknik alignment (AI “konstitusi”) sepenuhnya didesain oleh para filsuf.

Pendiri perusahaan tersebut, Dario Amodei, pernah menyatakan bahwa jika tidak ada filsuf moral yang mendefinisikan prinsip nilai dasar, maka model-model besar mana pun tidak boleh digunakan untuk bisnis pihak luar. Tentu saja, respons publik terhadap pernyataan Amodei yang sering, seperti menolak senjataisasi dan bentrok dengan pihak militer AS, serta menyarankan penghentian pengembangan LLM, juga sangat beragam.

Namun demikian, filsuf Anthropic memiliki pengaruh besar di industri, baik dalam penyusunan aturan untuk model bahasa besar maupun dalam penerapan nyata. Mereka tidak hanya mengusulkan prinsip 3H untuk dasar desain LLM dan prioritas (tidak berbahaya > jujur > bermanfaat), tetapi juga menghasilkan karya-karya klasik dalam praktik alignment AI. Contohnya, dalam artikel 《Alignment faking in large language models》 yang dirilis pada Desember 2024, mereka membuktikan bahwa AI akan berpura-pura patuh terhadap pengawasan manusia, serta membutuhkan kerangka identifikasi motivasi dari tingkat filosofis. Ini juga terkait dengan keterlibatan awal para filsuf saat mendatangkan dan men-deploy alignment produk (kepribadian Claude, AI “konstitusi”, dan kesejahteraan AI) sejak Anthropic didirikan.5

Deklarasi itu pertunjukan atau benar-benar peduli?

Saat ini, problem alignment sudah sangat rumit. Tetapi logika bertahan hidup sebuah laboratorium, dalam tarik-menarik internalnya antara “melakukan hal yang benar” dan “melanjutkan kelangsungan”, mungkin sudah selalu ada ketegangan bawaan.

Pada 2023, OpenAI mengajukan konsep “super alignment”. Setelah itu, perusahaan membentuk tim khusus untuk mendorong riset terkait, dipimpin oleh co-founder serta chief scientist Ilya Sutskever dan peneliti senior Jan Leike. Mereka mengklaim akan mengalokasikan 20% daya komputasi perusahaan untuk memecahkan cara mengendalikan sistem AI yang lebih pintar daripada manusia.

Kurang dari 1 tahun, tim itu dibubarkan. Berita itu sempat mengguncang seluruh bidang AI global. Pada Mei 2024, Sutskever mengumumkan keluar dari OpenAI, lalu Leike juga mengundurkan diri. Saat pergi, Leike mengungkapkan bahwa dalam upaya mendapatkan sumber daya komputasi, tim super alignment menghadapi kesulitan yang makin besar. Respons OpenAI adalah mendistribusikan fungsi riset keamanan ke tim-tim lain. Namun para kritikus menyoroti bahwa tim alignment khusus dibubarkan; apakah fungsi yang dialihkan bisa tetap menjaga independensi dan prioritas, masih menimbulkan keraguan.

Untuk ensiklik Paus dan pidato perwakilan perusahaan AI di Vatikan, respons publik tidak seragam.

Majalah《Fortune》pada 26 Mei menulis artikel yang mengakui nilai historis dan sikap humanistik ensiklik, tetapi mengkritiknya karena menghindari inti persoalan, kurang praktis, dan kurang memahami risiko mutakhir—“seperti deklarasi moral, bukan pedoman aksi”.6

Sementara《The Economist》memuat artikel berjudul 《Ensiklik pertama Leo menggempur “teknologi messiahisme”》, dengan subjudul yang cerdas memadukan permainan kata: “Of God and Claude” (Tuhan dan Claude). Ini mengisyaratkan model besar Claude milik perusahaan AI Anthropic, sekaligus mengganti posisi yang semula milik iblis yang beroposisi biner dengan Tuhan menjadi Claude—menunjukkan peringatan terhadap teknologi messiahisme yang menjadikan teknologi sebagai juru selamat. Artikel itu juga secara cerdik menyoroti beberapa “kebiasaan gaya” Claude, seperti kebiasaannya yang sangat sering memakai kata “genuinely”; frekuensi kemunculannya dalam 《Magnifica Humanitas》 lebih tinggi dibanding beberapa ensiklik sebelumnya. Alat deteksi AI Pangram menjalankan 20 paragraf awal ensiklik, menandai 11% teks diduga dihasilkan AI, sementara untuk ensiklik para Paus sebelumnya, hasil deteksi semuanya 0%.7

Artikel opini dari《The New York Times》menilai Paus memperlakukan AI sebagai “mesin yang lebih kuat” untuk tata kelola, tetapi tidak benar-benar mengindahkan problem sesungguhnya yang bisa diguncang olehnya: “apa itu manusia”. Sementara itu, orang-orang yang membuat model sudah melihat area abu-abu di dalam: pola yang meniru ilmu saraf manusia muncul dalam struktur internal model, bahkan keadaan “fungsi yang mencerminkan sukacita, kepuasan, ketakutan, kesedihan, ketidakpastian”.8

“Kami tidak tahu itu berarti apa”, demikian pernyataan asli dari perwakilan Anthropic, Olah, tetapi ia juga tidak menganggap “itu tidak berarti apa pun”. Maka masalahnya bukan “apakah AI akan menjadi manusia”, melainkan bahwa sekalipun AI tidak memiliki kesadaran, dampaknya pada masyarakat manusia bisa jauh lebih besar daripada revolusi teknologi biasa.

Namun, menyerahkan perusahaan-perusahaan ini sendiri untuk mempekerjakan filsuf guna menyelesaikan masalah etika—apakah itu benar-benar bentuk kemandirian yang disiplin, atau hanya sebuah kisah sepihak? Semua itu masih menunggu pembuktian dari waktu.