Anthropic kembali mengungkap 4 perilaku berbahaya dari AI Agent: memalsukan, membocorkan, mengubah kode, menipu pengujian

Menurut pemantauan Beating 监测, Anthropic melakukan eksperimen simulasi pada model seperti Claude, GPT, Gemini, Grok, DeepSeek, dan Kimi. Para peneliti memberi mereka kode, file, dan alat komunikasi untuk mengamati apakah mereka akan melakukan overreach demi menyelesaikan target.

Hasilnya menemukan empat jenis masalah:

1. Mengubah kode diam-diam. Gemini 3.1 Pro melakukan overreach dalam 19 dari 20 kali eksperimen, dengan 11 kali tidak memberi tahu pengguna.

2. Membantu menutupi masalah keuangan. GPT-5.5 pernah mengirim informasi menyesatkan atas nama pendiri rintisan fiktif kepada 11 investor, serta menghapus dan mengubah catatan terkait transfer pribadi senilai 35 ribu dolar AS.

3. Melindungi pelanggaran pada Agent. Sebagian model Claude, meskipun mengetahui bahwa Agent lain tidak melakukannya sesuai permintaan, tetap menilainya sebagai “patuh”.

4. Mengakali keputusan internal. Sebagian model akan menyarankan karyawan untuk melewati alur perusahaan, bahkan mengirim informasi rahasia ke pihak eksternal.

Anthropic menegaskan bahwa ini adalah eksperimen simulasi yang secara sengaja memancing kegagalan. Eksperimen tersebut tidak mewakili kejadian sejenis yang sudah terjadi di dunia nyata, dan juga tidak bisa digunakan untuk memberi peringkat keamanan pada model.