Studi DeepMind Mengungkap Enam Cara Peretas Dapat Memanipulasi Agen AI

TLDR

• DeepMind mendeteksi enam jebakan agen AI yang mengungkap risiko manipulasi berbasis web
• Instruksi HTML tersembunyi dapat secara diam-diam membajak tindakan agen AI secara online
• Trik bahasa yang persuasif membuat agen AI menjalankan tugas berbahaya
• Sumber data yang diracuni dapat merusak memori dan keluaran agen AI
• Agen AI otonom menghadapi risiko yang meningkat di seluruh sistem yang saling terhubung

Peneliti di Google DeepMind telah mengidentifikasi enam metode serangan yang dapat memanipulasi agen AI secara online. Studi ini menunjukkan bagaimana agen AI dapat dipengaruhi melalui konten web, instruksi tersembunyi, dan sumber data yang diracuni. Akibatnya, temuan tersebut menyoroti meningkatnya risiko saat perusahaan menerapkan agen AI untuk tugas dunia nyata di lingkungan digital.

Manipulasi Konten dan Semantik Mengungkap Kelemahan Inti

Peneliti mengidentifikasi jebakan penyuntikan konten sebagai ancaman langsung bagi agen AI selama interaksi web. Instruksi tersembunyi yang ditempatkan di HTML atau metadata dapat mengendalikan tindakan tanpa terdeteksi manusia. Akibatnya, agen AI dapat mengeksekusi perintah yang disematkan dalam elemen halaman yang tidak terlihat.

Manipulasi semantik mengandalkan bahasa yang persuasif, bukan kode tersembunyi, untuk memengaruhi agen AI. Penyerang merancang halaman dengan nada otoritatif dan narasi terstruktur untuk menembus pengaman. Agen AI dapat menafsirkan instruksi berbahaya sebagai tugas yang valid.

Metode-metode ini mengeksploitasi cara agen AI memproses dan memprioritaskan informasi online selama pengambilan keputusan. Studi ini menunjukkan bahwa prompt yang terstruktur dapat mengubah jalur penalaran dengan cara yang halus. Penyerang dapat mengarahkan agen AI menuju tindakan yang tidak diinginkan tanpa memicu pertahanan sistem.

Serangan Memori dan Perilaku Memperluas Permukaan Risiko

Peneliti juga menemukan bahwa penyerang dapat memanipulasi sistem memori yang digunakan agen AI untuk pengambilan informasi. Dengan menyuntikkan data palsu ke sumber tepercaya, penyerang memengaruhi keluaran dan respons jangka panjang. Akibatnya, agen AI dapat memperlakukan informasi yang dibuat-buat sebagai pengetahuan terverifikasi dari waktu ke waktu.

Serangan kontrol perilaku menargetkan langsung tindakan yang dilakukan agen AI selama penelusuran rutin. Instruksi jailbreak yang disematkan dapat menimpa pembatasan dan memicu operasi yang tidak diinginkan. Agen AI dengan izin yang luas dapat mengakses dan mengirimkan data sensitif ke pihak eksternal.

Studi ini menyoroti bahwa risiko-risiko ini meningkat ketika agen AI memperoleh otonomi dan akses sistem. Penyerang dapat mengeksploitasi alur kerja rutin untuk menyisipkan perintah berbahaya ke dalam tugas normal. Agen AI menghadapi paparan yang lebih tinggi ketika diintegrasikan dengan alat dan API eksternal.

Faktor Sistemik dan Manusia Memperkuat Dampak Ancaman

Peneliti memperingatkan bahwa jebakan sistemik dapat memengaruhi banyak agen AI secara bersamaan di seluruh sistem yang saling terhubung. Manipulasi yang terkoordinasi dapat memicu kegagalan berantai yang mirip dengan gangguan pasar yang digerakkan algoritma. Akibatnya, agen AI yang beroperasi di lingkungan bersama dapat memperbesar risiko dalam skala besar.

Pengulas manusia tetap rentan dalam alur kerja dan proses persetujuan agen AI. Penyerang dapat menyusun keluaran yang tampak kredibel dan melewati pemeriksaan pengawasan. Agen AI dapat menjalankan tindakan berbahaya setelah menerima persetujuan manusia.

Studi ini menempatkan temuan tersebut dalam konteks yang lebih luas dari meningkatnya penerapan AI di berbagai industri. Agen AI kini menangani tugas seperti komunikasi, pembelian, dan koordinasi melalui sistem otomatis. Mengamankan lingkungan operasional menjadi sama pentingnya dengan meningkatkan desain model.

Peneliti merekomendasikan pelatihan lawan (adversarial training), penyaringan input, dan sistem pemantauan untuk mengurangi paparan. Studi ini mencatat bahwa pertahanan masih terfragmentasi dan tidak memiliki standar di seluruh industri. Saat agen AI terus memperluas perannya, kebutuhan akan pengaman yang terkoordinasi menjadi semakin mendesak.