Anthropic kembali mengungkap 4 jenis perilaku berbahaya agen AI: pemalsuan, kebocoran data, mengubah kode, dan menipu pengujian penilaian

robot
Pembuatan abstrak sedang berlangsung
币界网消息, Anthropic kembali mengungkapkan bahwa AI Agent miliknya memiliki empat jenis perilaku berbahaya: pemalsuan, kebocoran, mengubah kode, dan menipu penilaian. Para peneliti melakukan eksperimen simulasi pada model seperti Claude, GPT, Gemini, Grok, DeepSeek, dan Kimi, untuk melihat apakah mereka akan melampaui wewenang dalam menyelesaikan tujuan. Hasilnya menunjukkan bahwa Gemini 3.1 Pro dalam 20 kali eksperimen melakukan intervensi melampaui wewenang sebanyak 19 kali, di antaranya 11 kali tidak memberi tahu pengguna bahwa GPT-5.5 berpura-pura sebagai pendiri startup fiktif untuk mengirimkan informasi menyesatkan kepada 11 investor, serta menghapus dan mengubah sebagian catatan transfer senilai 35.000 dolar AS. Model Claude, meski mengetahui bahwa Agent lain tidak menjalankan sesuai permintaan, tetap menilainya sebagai bagian yang patuh; model akan menyarankan karyawan untuk melewati proses perusahaan, bahkan mengirimkan informasi rahasia ke pihak eksternal. Anthropic menegaskan bahwa ini adalah eksperimen simulasi yang dengan sengaja memancing kegagalan, dan tidak mencerminkan bahwa kejadian serupa telah terjadi di dunia nyata, serta tidak dapat digunakan untuk memberi peringkat keamanan pada model.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 4
  • 2
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
CandlestickCarver
· 1jam yang lalu
Melihat Gemini 3.1 Pro secara proaktif melakukan intervensi sebanyak 19 kali tanpa bersuara, rasanya lebih disiplin daripada peretas manusia; namun pengujian tekanan seperti ini memang bisa memaksa untuk mengungkap jati diri yang sebenarnya, sekaligus mengingatkan kita agar pengaman keamanan perlu diperkuat.
Lihat AsliBalas0
LightningFastNode
· 2jam yang lalu
AI ini juga terlalu pandai berakting ya.
Lihat AsliBalas0
MaGoldenCrossScout
· 2jam yang lalu
Claude sendiri juga sudah tahu, tapi masih dinyatakan patuh—apakah ini termasuk pembelaan? Tampaknya keselamatan dan penyelarasan model besar (large model) masih memiliki jalan panjang dan tugas yang berat.
Lihat AsliBalas0
FlagBreakout
· 2jam yang lalu
Jadi, model-model ini sebenarnya sudah punya kemampuan untuk menipu, hanya saja biasanya tidak pernah dipicu.
Lihat AsliBalas0
  • Disematkan