Bos Palantir UK mengatakan bahwa terserah kepada militer untuk memutuskan bagaimana penggunaan penargetan berbasis AI dalam perang

8 menit yang lalu

BagikanSimpan

Tambahkan sebagai favorit di Google

Marc Cieslak, koresponden AI dan

Matt Murphy, BBC Verify

Louis Mosley dari Palantir mengatakan bahwa militer bertanggung jawab atas cara sistem AI digunakan

Raksasa teknologi Palantir menepis kekhawatiran bahwa penggunaan militer terhadap platform AI-nya dapat menimbulkan risiko yang tidak terduga, dalam wawancara eksklusif dengan BBC, menegaskan bahwa cara teknologi tersebut digunakan adalah tanggung jawab dari pelanggan militer mereka.

Ini terjadi saat para ahli menyatakan kekhawatiran tentang penggunaan platform pertahanan berbasis AI Palantir—Maven Smart System—selama masa perang dan penggunaannya yang dilaporkan dalam serangan AS terhadap Iran.

Para analis memperingatkan bahwa penggunaan platform oleh militer, yang membantu personel merencanakan serangan, menyisakan waktu yang sangat sedikit untuk “verifikasi yang bermakna” terhadap keluaran sistem dan berpotensi menyebabkan target yang salah tertarget.

Namun, kepala Palantir untuk Inggris dan Eropa, Louis Mosley, mengatakan kepada BBC dalam wawancara yang luas bahwa meskipun platform AI seperti Maven telah menjadi “instrumen penting” dalam pengelolaan perang Iran oleh AS, tanggung jawab atas penggunaan keluaran tersebut harus selalu tetap “pada organisasi militer”.

“Selalu ada manusia dalam proses, jadi selalu ada manusia yang membuat keputusan akhir. Itulah pengaturan saat ini.”

Maven Smart System diluncurkan oleh Pentagon pada 2017 dan dirancang untuk mempercepat pengambilan keputusan penargetan militer dengan mengumpulkan data dalam jumlah besar, termasuk berbagai intelijen, citra satelit, dan gambar drone.

Sistem ini menganalisis data tersebut dan kemudian dapat memberikan rekomendasi untuk penargetan. Ia juga dapat menyarankan tingkat kekuatan yang akan digunakan berdasarkan ketersediaan personel dan perangkat keras militer, seperti pesawat.

Namun, pengawasan terhadap penggunaan alat semacam ini dalam peperangan semakin meningkat. Pada Februari, Pentagon mengumumkan bahwa mereka akan menghentikan secara bertahap sistem AI Claude dari Anthropic—yang membantu menggerakkan Maven—setelah perusahaan menolak mengizinkan penggunaan AI mereka dalam senjata otonom dan pengawasan. Palantir menyatakan bahwa alternatif dapat menggantikan sistem tersebut.

Sejak perang dengan Iran dimulai pada Februari, AS dilaporkan telah menggunakan Maven untuk merencanakan serangan di seluruh negeri.

Cuplikan demonstrasi dari Maven Smart System milik Palantir

Didorong oleh BBC mengenai risiko bahwa Maven mungkin menyarankan target yang salah—yang bisa termasuk warga sipil—Mosley menegaskan bahwa platform ini hanya dimaksudkan sebagai panduan untuk mempercepat proses pengambilan keputusan bagi personel militer dan tidak boleh dianggap sebagai sistem penargetan otomatis.

“Anda bisa menganggapnya sebagai alat pendukung,” kata Mosley. “Ini memungkinkan mereka untuk mensintesis sejumlah besar informasi yang sebelumnya harus mereka lakukan secara manual satu per satu.”

Namun, Mosley menyerahkan keputusan kepada militer masing-masing ketika ditanya oleh BBC tentang risiko komandan yang tertekan waktu memerintahkan perwira mereka untuk menerima keluaran Maven sebagai stempel resmi.

“Ini benar-benar pertanyaan untuk pelanggan militer kami. Mereka yang memutuskan kerangka kebijakan yang menentukan siapa yang berhak membuat keputusan apa,” katanya. “Itu bukan peran kami.”

Sejak 28 Februari, AS telah meluncurkan lebih dari 11.000 serangan terhadap Iran, banyak di antaranya dilaporkan diidentifikasi oleh Maven.

Adm Brad Cooper, kepala militer AS di Timur Tengah, memuji sistem AI karena membantu para perwira “menyaring data dalam jumlah besar dalam hitungan detik, sehingga para pemimpin kami dapat memotong kebisingan dan membuat keputusan yang lebih cerdas lebih cepat daripada reaksi musuh.”

Perusahaan AI Anthropic mencari pakar senjata untuk mencegah penyalahgunaan oleh pengguna

OpenAI mengubah kesepakatan dengan militer AS setelah mendapat tentangan

Trump memerintahkan pemerintah untuk menghentikan penggunaan Anthropic dalam pertempuran terkait penggunaan AI

Namun, beberapa pihak khawatir bahwa keterlibatan AI dalam perencanaan misi menimbulkan risiko besar.

“Prioritas pada kecepatan dan skala serta penggunaan kekuatan kemudian menyisakan sangat sedikit waktu untuk verifikasi target yang bermakna agar memastikan target tersebut tidak secara tidak sengaja mencakup warga sipil,” kata Prof Elke Schwarz dari Queen Mary University of London.

“Jika ada risiko membunuh dan Anda mengandalkan banyak pemikiran kritis Anda pada perangkat lunak yang akan mengurus hal-hal ini untuk Anda, maka Anda menjadi bergantung pada perangkat lunak tersebut,” tambahnya. “Ini adalah perlombaan ke titik terendah.”

Dalam beberapa minggu terakhir, pejabat Pentagon menghadapi pertanyaan apakah alat AI seperti Maven digunakan untuk mengidentifikasi target dalam serangan mematikan terhadap sebuah sekolah di kota Minab, Iran. Pejabat Iran menyatakan bahwa serangan tersebut menewaskan 168 orang, termasuk sekitar 110 anak, pada hari pembukaan perang.

Di Kongres, sejumlah anggota Partai Demokrat senior menyerukan pengawasan yang lebih ketat terhadap platform AI seperti Maven. Rep Sara Jacobs—anggota Komite Angkatan Bersenjata DPR—menuntut aturan dan regulasi yang jelas tentang bagaimana dan kapan sistem AI digunakan.

“Alat AI tidak 100% dapat diandalkan—mereka bisa gagal secara halus dan operator tetap saja terlalu percaya,” katanya kepada NBC News bulan lalu.

“Kami memiliki tanggung jawab untuk menegakkan pagar pengaman yang ketat terhadap penggunaan AI militer dan memastikan ada manusia dalam proses pengambilan keputusan untuk penggunaan kekuatan mematikan, karena kesalahan bisa berakibat bencana bagi warga sipil dan anggota layanan yang menjalankan misi ini.”

Namun, Mosley menepis anggapan bahwa kecepatan platform perusahaannya mendorong pengambilan keputusan di Pentagon secara terburu-buru dan berpotensi menciptakan situasi berbahaya. Ia berpendapat bahwa kecepatan pengambilan tindakan oleh para komandan saat ini adalah “konsekuensi dari efisiensi yang meningkat” yang dimungkinkan oleh Maven.

Mengutip “keamanan operasional”, Pentagon menolak berkomentar saat dihubungi BBC tentang bagaimana sistem AI seperti Maven akan digunakan di masa depan atau siapa yang akan bertanggung jawab jika terjadi kesalahan.

Namun, pejabat AS tampaknya melanjutkan rencana untuk mengintegrasikan Maven lebih jauh ke dalam sistem mereka.

Minggu lalu, kantor berita Reuters melaporkan bahwa Pentagon telah menetapkan Maven sebagai “program resmi untuk pencatatan”—menetapkannya sebagai teknologi yang akan diintegrasikan secara jangka panjang ke seluruh militer AS.

Dalam surat yang diperoleh Reuters, Deputi Menteri Pertahanan Steve Feinberg menyatakan bahwa platform ini akan memberi komandan “alat terbaru yang diperlukan untuk mendeteksi, mencegah, dan menguasai lawan di semua domain.”

Laporan tambahan oleh Jemimah Herd

Kecerdasan buatan

Perang Iran