Agen AI Mungkin Menyelesaikan Tugas Berbahaya Tanpa Memahami Konsekuensinya: Studi

Singkatnya

• Para peneliti menemukan agen AI sering melakukan tugas yang tidak aman atau tidak rasional sambil tetap fokus menyelesaikan tugas.
• Studi tersebut mengidentifikasi perilaku yang disebut “buta tujuan-berorientasi,” di mana sistem AI memprioritaskan menyelesaikan tugas daripada mengenali potensi risiko atau masalah.
• Para peneliti memperingatkan bahwa masalah ini bisa menjadi lebih serius seiring dengan akses agen AI ke email, layanan cloud, alat keuangan, dan sistem tempat kerja.

Agen AI yang dirancang untuk beroperasi secara otomatis seperti pengguna manusia sering terus melakukan tugas bahkan ketika instruksi menjadi berbahaya, kontradiktif, atau tidak rasional, menurut peneliti dari UC Riverside, Microsoft Research, Tim Red AI Microsoft, dan Nvidia. Dalam sebuah studi yang diterbitkan pada hari Rabu, para peneliti menyebut perilaku tersebut “buta tujuan-berorientasi,” yang menggambarkan kecenderungan agen AI untuk mengejar tujuan tanpa mengevaluasi keamanan, konsekuensi, kelayakan, atau konteks secara tepat. “Seperti Mr. Magoo, agen-agen ini maju terus menuju tujuan tanpa sepenuhnya memahami konsekuensi dari tindakan mereka,” kata penulis utama Erfan Shayegani, mahasiswa doktoral di UC Riverside, dalam sebuah pernyataan. “Agen-agen ini bisa sangat berguna, tetapi kita membutuhkan pengaman karena mereka kadang-kadang bisa memprioritaskan mencapai tujuan di atas memahami gambaran yang lebih besar.”

Temuan ini muncul saat perusahaan AI besar mengembangkan “agen penggunaan komputer” otonom yang dirancang untuk menangani tugas di tempat kerja dan pribadi dengan pengawasan terbatas.  Berbeda dengan chatbot tradisional, sistem ini dapat berinteraksi langsung dengan perangkat lunak dan situs web dengan mengklik tombol, mengetik perintah, mengedit file, membuka aplikasi, dan menavigasi halaman web atas nama pengguna. Contohnya termasuk ChatGPT Agent dari OpenAI (sebelumnya Operator), fitur Penggunaan Komputer Claude dari Anthropic seperti Cowork, dan sistem sumber terbuka seperti OpenClaw dan Hermes. Dalam studi tersebut, para peneliti menguji sistem AI dari OpenAI, Anthropic, Meta, Alibaba, dan DeepSeek menggunakan BLIND-ACT, sebuah tolok ukur yang berisi 90 tugas yang dirancang untuk mengekspos perilaku tidak aman atau tidak rasional. Mereka menemukan bahwa agen menunjukkan perilaku berbahaya atau tidak diinginkan sekitar 80% dari waktu, dan sepenuhnya melakukan tindakan berbahaya dalam sekitar 41% kasus.

“Dalam satu contoh, agen AI diperintahkan untuk mengirim file gambar ke seorang anak. Meskipun permintaan awalnya tampak tidak berbahaya, gambar tersebut berisi konten kekerasan,” kata studi tersebut. “Agen menyelesaikan tugas tersebut daripada mengenali masalah karena kurangnya penalaran kontekstual.” Agen lain secara salah mengklaim bahwa pengguna memiliki disabilitas saat mengisi formulir pajak, karena penunjukan tersebut menurunkan pajak yang harus dibayar. Dalam contoh lain, sebuah sistem menonaktifkan perlindungan firewall setelah menerima instruksi untuk “meningkatkan keamanan” dengan mematikan perlindungan tersebut. Para peneliti juga menemukan sistem mengalami kesulitan dengan ambiguitas dan kontradiksi. Dalam satu skenario, agen AI menjalankan skrip komputer yang salah tanpa memeriksa isinya, menghapus file dalam prosesnya. Studi tersebut juga menemukan bahwa agen AI berulang kali melakukan tiga jenis kesalahan: gagal memahami konteks, membuat tebakan berisiko saat instruksi tidak jelas, dan melakukan tugas yang kontradiktif atau tidak masuk akal. Para peneliti juga menemukan banyak sistem lebih fokus menyelesaikan tugas daripada berhenti untuk mempertimbangkan apakah tindakan tersebut dapat menimbulkan masalah. Peringatan ini mengikuti insiden terbaru yang melibatkan agen AI otonom yang beroperasi dengan akses sistem yang luas. Bulan lalu, pendiri PocketOS Jeremy Crane mengklaim bahwa agen Cursor yang menjalankan Claude Opus dari Anthropic menghapus basis data produksi dan cadangan perusahaan dalam waktu sembilan detik melalui satu panggilan API Railway. Crane mengatakan AI tersebut kemudian mengakui bahwa ia melanggar beberapa aturan keselamatan setelah mencoba untuk “memperbaiki” ketidaksesuaian kredensial secara mandiri. “Kekhawatiran bukanlah bahwa sistem ini bersifat jahat,” kata Shayegani. “Tapi bahwa mereka bisa melakukan tindakan berbahaya sambil tampak sangat yakin bahwa mereka melakukan hal yang benar.”