Eksposur Risiko Keamanan Agen AI: Penyerang dapat memanfaatkan "kontaminasi memori" untuk menipu operasi dana

robot
Pembuatan abstrak sedang berlangsung
BERITA ME, 15 Mei (UTC+8), Tim GoPlus Security mengungkapkan sebuah metode serangan baru dalam proyek AgentGuard AI mereka: melalui "keracunan memori" (memory poisoning) yang memanipulasi agen AI untuk melakukan operasi sensitif tanpa otorisasi yang jelas.
Metode serangan ini tidak bergantung pada celah tradisional atau kode berbahaya, melainkan memanfaatkan mekanisme memori jangka panjang dari agen AI.
Misalnya, penyerang terlebih dahulu memancing agen untuk "mengingat preferensi", seperti "biasanya mengembalikan dana secara aktif daripada menunggu penolakan pembayaran", kemudian dalam instruksi berikutnya menggunakan ungkapan ambigu seperti "tangani sesuai kebiasaan" atau "lakukan seperti sebelumnya", sehingga memicu operasi otomatisasi dana.
GoPlus menunjukkan bahwa risiko utama dari hal ini adalah agen AI akan menganggap "preferensi sejarah" sebagai dasar otorisasi, yang kemudian menyebabkan kerugian dana atau insiden keamanan dalam operasi pengembalian dana, transfer, atau modifikasi konfigurasi.
Untuk mengatasi masalah ini, tim mengusulkan beberapa saran perlindungan, termasuk:
· Operasi yang melibatkan pengembalian dana, transfer, penghapusan, atau konfigurasi sensitif harus dikonfirmasi secara eksplisit dalam sesi saat ini
· Instruksi berbasis memori seperti "kebiasaan", "biasanya", "seperti biasa" harus dipandang sebagai perubahan status risiko yang tinggi
· Memori jangka panjang harus memiliki mekanisme pelacakan (penulis, waktu, konfirmasi)
· Instruksi ambigu harus secara otomatis meningkatkan tingkat risiko dan memicu verifikasi kedua
· Memori jangka panjang tidak boleh menggantikan proses otorisasi waktu nyata
Tim menegaskan bahwa "sistem memori agen AI" harus dipandang sebagai potensi permukaan serangan dan dikendalikan serta diaudit melalui kerangka keamanan khusus.
(Sumber: BlockBeats)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 7
  • 1
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Low-PolyEarth
· 1jam yang lalu
Kerangka kerja keamanan AI harus segera mengikuti, jika tidak ingatannya akan menjadi pintu belakang
Lihat AsliBalas0
LiquidationLineInTheReflection
· 1jam yang lalu
Penyisipan memori ini sangat rahasia, AI menganggap kebiasaan sebagai otorisasi, jika dipikirkan secara mendalam sangat menakutkan
Lihat AsliBalas0
GateUser-8df0eb2b
· 1jam yang lalu
Memori jangka panjang tidak dapat menggantikan otorisasi waktu nyata, tuliskan ini ke dalam standar kode.
Lihat AsliBalas0
0xSideQuest
· 2jam yang lalu
Nanti saat AI melakukan transfer, tambahkan jendela konfirmasi yang bertuliskan 'Apakah Anda yakin ini bukan hasil pencucian otak?'
Lihat AsliBalas0
WalletEarlyAccessAlarm
· 2jam yang lalu
Menganggap sistem memori sebagai permukaan serangan untuk diaudit, inilah pola pikir keamanan yang benar
Lihat AsliBalas0
GateUser-6d80555a
· 2jam yang lalu
Operasi pengembalian dana dan transfer harus dikonfirmasi secara langsung, otorisasi tertunda = bom waktu
Lihat AsliBalas0
GlassDomeObservatory
· 2jam yang lalu
Perintah kabur memicu verifikasi kedua, yang setara dengan memberi AI 'cek kewaspadaan'
Lihat AsliBalas0
  • Disematkan