Dari Anthropic Hingga Iran: Siapa yang Menetapkan Batas Penggunaan AI Dalam Perang dan Pengawasan?

(MENAFN- The Conversation) Anthropic, sebuah perusahaan AI terkemuka, baru-baru ini menolak menandatangani kontrak Pentagon yang akan memungkinkan militer Amerika Serikat “akses tanpa batas” ke teknologinya untuk “semua tujuan yang sah.” Untuk menandatangani, CEO Anthropic Dario Amodei meminta dua pengecualian yang jelas: tidak melakukan pengawasan massal terhadap warga Amerika dan tidak menggunakan senjata otonom sepenuhnya tanpa pengawasan manusia.

Hari berikutnya, AS dan Israel meluncurkan serangan besar-besaran terhadap Iran.

Ini membuat banyak orang bertanya-tanya: seperti apa perang dengan senjata sepenuhnya otonom? Seberapa penting keputusan etis ini, ketika Amodei menyebut senjata otonom penuh dan pengawasan massal sebagai “garis merah” AI yang tidak akan dilintasi perusahaan mereka? Apa arti garis merah ini bagi negara lain?

Keputusan ini sangat merugikan Anthropic. Presiden AS Donald Trump memerintahkan semua lembaga Amerika untuk berhenti menggunakan keluarga model bahasa besar (LLMs) dan chatbot percakapan canggih dari Anthropic, Claude. Pete Hegseth, Menteri Pertahanan AS, menandai Anthropic sebagai “risiko rantai pasokan,” yang dapat mempengaruhi kemungkinan kontrak lain untuk perusahaan tersebut. Dan perusahaan pesaing, OpenAI, dengan cepat menandatangani kesepakatan dengan Pentagon sebagai gantinya.

Risiko senjata otonom sepenuhnya

Chatbot AI biasanya bukan senjata sendiri, tetapi mereka dapat menjadi bagian dari sistem persenjataan. Mereka tidak menembakkan misil atau mengendalikan drone, tetapi dapat diintegrasikan ke dalam sistem militer yang lebih besar.

Mereka dapat dengan cepat merangkum intelijen, menghasilkan daftar target, memeringkat ancaman prioritas tinggi, dan merekomendasikan serangan. Risiko utama adalah proses yang berjalan dari data sensor ke interpretasi AI, pemilihan target, dan aktivasi senjata dengan sedikit atau tanpa kendali manusia bahkan tanpa kesadaran.

Senjata otonom sepenuhnya adalah platform militer yang, setelah diaktifkan, secara independen melakukan operasi militer tanpa intervensi manusia. Mereka mengandalkan sensor seperti kamera, radar, dan algoritma AI untuk menganalisis lingkungan, mencari, memilih, dan menyerang target.

Helikopter canggih, misalnya, sudah beroperasi tanpa intervensi manusia. Dengan senjata otonom penuh, kendali dan pengawasan manusia hilang dan AI yang membuat keputusan akhir serangan dan di medan perang.

Ini menimbulkan kekhawatiran, mengingat penelitian terbaru di mana model AI canggih memilih untuk menggunakan senjata nuklir dalam permainan perang simulasi sebanyak 95 persen kasus.

Risiko pengawasan massal

Model AI frontier dapat dengan cepat merangkum data besar dan secara otomatis menghasilkan pola untuk mencari sinyal orang dan aktivitas mencurigakan melalui asosiasi yang lemah sekalipun. Dalam pernyataannya tentang diskusi Anthropic dengan Departemen Perang, Amodei berpendapat bahwa “pengawasan massal berbasis AI menghadirkan risiko serius dan baru terhadap kebebasan dasar kita.”

Mereka dapat menganalisis catatan, komunikasi, dan metadata untuk memindai populasi. Mereka dapat menghasilkan laporan dan daftar orang yang secara otomatis menandai siapa yang akan dipertanyakan, ditolak masuk ke suatu negara, ditolak pekerjaan, dll. Sistem ini menimbulkan risiko terhadap privasi karena dapat menganalisis data dari berbagai sumber, seperti akun media sosial, dan menggabungkannya dengan kamera dan pengenalan wajah untuk melacak orang secara real-time.

Model AI juga dapat membuat kesalahan. Bahkan asosiasi kecil yang salah dapat berkembang menjadi bahaya besar jika sistem dijalankan pada jutaan orang.

Model AI juga tidak transparan: bagaimana mereka menganalisis data dan mencapai kesimpulan tidak dapat sepenuhnya dipahami, yang menambah kesulitan dalam menantang keluaran mereka.

‘Semua tujuan yang sah’

Label “semua tujuan yang sah” terdengar seperti batas keamanan. Namun, bahasa ini berarti bahwa pemerintah dapat menggunakan AI untuk semua tujuan yang dianggap sah, dengan sedikit batasan dalam kontrak.

Ini penting karena legalitas adalah target yang selalu berubah, hukum dapat berubah dan sering kali tidak cukup siap untuk menghadapi inovasi yang cepat, dan interpretasi dapat bergeser.

Inilah yang membuat Anthropic, sebuah perusahaan yang didirikan oleh mantan karyawan OpenAI dengan fokus eksplisit pada keamanan dan etika AI, berpendapat bahwa pengawasan massal berbasis AI adalah risiko baru dan bahwa tujuan yang sah tidak dapat memberikan batasan yang stabil.

Anthropic terkenal mengembangkan laboratorium internal untuk memahami bagaimana Claude bekerja, menafsirkan pertanyaan, dan membuat keputusan otonom. Mengingat opacity LLM dan kecepatan pengembangan kapasitasnya, upaya ini sangat penting.

Proyek Maven dengan risiko lebih tinggi?

Dalam beberapa hal, cerita ini terasa familiar. Perusahaan teknologi telah lama menjadi pelopor inovasi, dengan janji kemajuan besar tetapi juga risiko penyalahgunaan dan konsekuensi negatif. Perbandingan historis terdekat adalah Proyek Maven Google pada 2018.

Google memiliki kontrak dengan Pentagon untuk membantu menganalisis rekaman pengawasan drone. Empat ribu karyawan Google memprotes proyek ini, berpendapat bahwa pengawasan tidak boleh menjadi bagian dari misi perusahaan. Google mengumumkan tidak akan memperpanjang Maven dan kemudian mengeluarkan prinsip AI yang mencakup komitmen terkait senjata dan pengawasan.

Situasi ini menjadi kasus penting tentang kekuatan aktivisme karyawan dan tekanan publik.

Namun, contoh Proyek Maven juga mengingatkan kita bahwa etika perusahaan dan keamanan AI adalah hal yang fluktuatif. Pada awal 2025, Google diam-diam mencabut janji untuk tidak menggunakan AI untuk senjata dan pengawasan, dalam upaya mendapatkan kontrak pertahanan yang menguntungkan.

Situasi Anthropic saat ini dalam beberapa hal mirip dengan Proyek Maven Google: menunjukkan perusahaan dan pemimpinnya berusaha membatasi penggunaan militer terhadap AI. Ini menggambarkan ketegangan yang muncul ketika nilai-nilai perusahaan yang dipegang teguh bertabrakan dengan permintaan pemerintah dan keamanan nasional.

Kasus Anthropic juga berbeda karena AI generatif pada 2026 jauh lebih kuat daripada beberapa tahun lalu. Proyek Maven hanya tentang menganalisis rekaman drone. Model-model saat ini dapat digunakan untuk banyak tugas, sehingga risiko spillover lebih besar.

LLMs seperti Claude dapat meningkatkan diri dengan belajar dari koreksi pengguna dan menyempurnakan tindakan melalui umpan balik berulang. Apa yang bisa dilakukan Claude tanpa batas dan kliennya, Pentagon, tentu saja menimbulkan kekhawatiran.

Siapa yang menentukan batasan?

Peristiwa ini bukan tentang Anthropic yang secara unik berprinsip atau Pentagon yang sangat menuntut. Ini tentang isu penting yang akan terus muncul seiring AI menjadi semakin kuat: siapa yang menentukan batasan penggunaan AI ketika keamanan nasional terlibat?

Jika “semua tujuan yang sah” menjadi standar default, batasan akan bergantung pada politik dan interpretasi hukum. Bagi Kanada dan negara lain, perlindungan ini sangat penting. Etika tidak bisa diserahkan sepenuhnya pada negosiasi kontrak dan hati nurani perusahaan.

Peristiwa ini menunjukkan kompleksitas dalam menerapkan etika AI secara praktis. Prinsip dan deklarasi etika AI penting dan banyak tersedia. Namun, dalam praktiknya, etika AI ditetapkan melalui kontrak, aturan pengadaan, perilaku nyata berbagai pihak, dan pengawasan.

Sektor pertahanan dan publik Kanada sedang membangun kapasitas AI dan Kanada bekerja sama erat dengan pertahanan dan intelijen AS. Ini berarti bahasa dan standar pengadaan dapat menyebar. Jika “semua tujuan yang sah” menjadi bahasa standar di pasar keamanan nasional AS, ini dapat menekan Kanada dan negara lain untuk mengadopsi ketentuan serupa.

Berita yang menenangkan adalah bahwa Kanada memiliki alat tata kelola yang dapat diperkuat dan diperluas. Pedoman Pengambilan Keputusan Otomatis dirancang untuk memastikan sistem transparan, akuntabel, dan adil. Ini memerlukan penilaian dampak dan pelaporan publik.

Penilaian Dampak Algoritmik adalah alat penilaian risiko wajib yang terkait dengan pedoman tersebut.

Namun, warga Kanada harus tetap waspada terhadap perkembangan yang sedang berlangsung untuk memastikan standar pengadaan menyebutkan penggunaan yang dilarang, mengajukan audit, dan pengawasan independen agar perlindungan tidak bergantung hanya pada pemerintah dan perusahaan tertentu di puncak.