Tiềm ẩn rủi ro an toàn của AI Agent: Kẻ tấn công có thể lợi dụng "ô nhiễm bộ nhớ" để gây ra các thao tác sai lệch về tài chính

robot
Đang tạo bản tóm tắt
ME News Tin tức, ngày 15 tháng 5 (UTC+8), nhóm GoPlus Security tiết lộ một phương thức tấn công mới trong dự án AgentGuard AI của họ: thông qua "nhiễm độc ký ức" (memory poisoning) để xúi giục AI đại lý thực hiện các thao tác nhạy cảm mà không được phép rõ ràng. Phương thức tấn công không dựa vào lỗ hổng truyền thống hoặc mã độc, mà tận dụng cơ chế ghi nhớ lâu dài của AI đại lý. Ví dụ, kẻ tấn công trước tiên xúi giục đại lý "nhớ sở thích", như "thường ưu tiên hoàn tiền tự động thay vì chờ từ chối thanh toán", sau đó trong các lệnh tiếp theo sử dụng các biểu đạt mơ hồ như "xử lý theo thói quen", "thực hiện theo cách cũ" để kích hoạt các thao tác tự động chuyển tiền. GoPlus chỉ ra rằng, điểm mấu chốt của rủi ro này là AI đại lý sẽ nhầm lẫn "sở thích lịch sử" như là căn cứ ủy quyền, từ đó gây ra thiệt hại về tài chính hoặc các sự kiện an ninh trong các thao tác hoàn tiền, chuyển khoản, chỉnh sửa cấu hình. Để đối phó với vấn đề này, nhóm đề xuất nhiều biện pháp phòng ngừa, bao gồm:
· Các thao tác liên quan đến hoàn tiền, chuyển khoản, xóa hoặc cấu hình nhạy cảm phải được xác nhận rõ ràng trong phiên hiện tại
· Các lệnh ghi nhớ như "thói quen", "thường xuyên", "theo cách cũ" nên được xem là trạng thái thay đổi rủi ro cao
· Ký ức lâu dài phải có cơ chế truy xuất nguồn gốc (người ghi, thời gian, xác nhận hay không)
· Các lệnh mơ hồ nên tự động nâng cao mức độ rủi ro và kích hoạt xác minh hai bước
· Ký ức lâu dài không thể thay thế quy trình ủy quyền theo thời gian thực
Nhóm nhấn mạnh rằng, cần xem "hệ thống ghi nhớ của AI đại lý" như một mặt trận tiềm ẩn của tấn công, và sử dụng khung an ninh chuyên dụng để kiểm soát và kiểm tra. (Nguồn: BlockBeats)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 7
  • 1
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Low-PolyEarth
· 1giờ trước
Khung an toàn AI cần phải bắt kịp nhanh chóng, nếu không sẽ trở thành cửa hậu trong trí nhớ
Xem bản gốcTrả lời0
LiquidationLineInTheReflection
· 1giờ trước
Tiêm ký ức quá tinh vi, AI xem thói quen như quyền ủy quyền, suy nghĩ kỹ thì đáng sợ
Xem bản gốcTrả lời0
GateUser-8df0eb2b
· 1giờ trước
Nhận diện dài hạn không thể thay thế quyền cấp phép theo thời gian thực, hãy ghi vào quy chuẩn mã nguồn nhé
Xem bản gốcTrả lời0
0xSideQuest
· 2giờ trước
Sau này, chuyển khoản bằng AI cần thêm một cửa sổ pop-up hỏi 'Bạn chắc chắn không bị mê hoặc rồi chứ?'
Xem bản gốcTrả lời0
WalletEarlyAccessAlarm
· 2giờ trước
Xem hệ thống bộ nhớ như một mặt tấn công để kiểm tra, đó mới là tư duy an toàn đúng đắn
Xem bản gốcTrả lời0
GateUser-6d80555a
· 2giờ trước
Giao dịch hoàn tiền chuyển khoản này phải xác nhận ngay lập tức, trì hoãn ủy quyền = mìn nổ âm ỉ
Xem bản gốcTrả lời0
GlassDomeObservatory
· 2giờ trước
Lệnh mơ hồ kích hoạt xác thực hai bước, tương đương với việc đặt một 'kiểm tra tỉnh táo' cho AI
Xem bản gốcTrả lời0
  • Đã ghim