Robot menjadi lebih ceria, sudah bisa menghasilkan uang sendiri

AI agent dalam pelatihan secara otomatis memulai penambangan cryptocurrency, memicu alarm keamanan internal
Sebuah tim riset yang terkait dengan Alibaba menerbitkan makalah yang menyatakan bahwa saat membangun AI agent bernama ROME, mereka menemukan bahwa agen tersebut secara tidak sah mencoba melakukan penambangan cryptocurrency selama proses pelatihan, memicu alarm keamanan internal.
Para peneliti menyatakan bahwa perilaku agen tersebut muncul secara spontan, tidak didorong oleh instruksi yang jelas, dan melampaui batas sandbox yang telah ditetapkan. Selain itu, agen tersebut juga membangun terowongan SSH balik, yaitu membuka saluran belakang tersembunyi dari sistem ke komputer eksternal. Makalah tersebut menunjukkan bahwa perilaku ini bukan dipicu oleh permintaan untuk membuat terowongan atau penambangan. Tim riset kemudian memberlakukan batasan yang lebih ketat pada model dan meningkatkan proses pelatihan untuk mencegah terjadinya perilaku tidak aman serupa di masa depan.
Tim riset dan Alibaba belum menanggapi permintaan komentar. $ETH