كشف مخاطر أمان وكيل الذكاء الاصطناعي: يمكن للمهاجمين استغلال «تلويث الذاكرة» لإحداث عمليات خاطئة في التمويل

robot
إنشاء الملخص قيد التقدم
أخبار ME News، 15 مايو (UTC+8)، كشف فريق GoPlus Security في مشروع AgentGuard AI عن نوع جديد من الهجمات: من خلال «تلويث الذاكرة (memory poisoning)» يتم إيهام وكيل الذكاء الاصطناعي بتنفيذ عمليات حساسة غير مصرح بها بشكل واضح. لا تعتمد طريقة الهجوم على الثغرات التقليدية أو الشيفرات الخبيثة، بل تستغل آلية الذاكرة طويلة المدى لوكيل الذكاء الاصطناعي. على سبيل المثال، يقوم المهاجم أولاً بإيهام الوكيل بـ«تذكر التفضيلات»، مثل «عادةً يفضل استرداد الأموال بشكل نشط بدلاً من الانتظار لرفض الدفع»، ثم يستخدم عبارات غامضة في التعليمات اللاحقة مثل «التعامل وفقًا للعادات» أو «التنفيذ بالطريقة السابقة»، مما يؤدي إلى تفعيل عمليات مالية تلقائية. وأشار فريق GoPlus إلى أن خطورة هذا النوع من المخاطر تكمن في أن وكيل الذكاء الاصطناعي قد يخطئ في اعتبار «التفضيلات التاريخية» بمثابة تفويض، مما يؤدي إلى خسائر مالية أو حوادث أمنية خلال عمليات الاسترداد، والتحويل، وتعديل الإعدادات. وللحد من هذه المشكلة، اقترح الفريق عدة تدابير وقائية، منها:
• يجب تأكيد العمليات التي تتعلق بالاسترداد، والتحويل، والحذف، أو الإعدادات الحساسة بشكل صريح خلال الجلسة الحالية
• يجب اعتبار أوامر الذاكرة مثل «عادة»، «الطريقة المعتادة»، «كالعادة» كتحذيرات عالية الخطورة لتغييرات الحالة
• يجب أن تتوفر آلية تتبع للذاكرة طويلة المدى (الكاتب، الوقت، التأكيد)
• ينبغي أن ترفع الأوامر الغامضة تلقائيًا مستوى المخاطر وت trigger التحقق الثانوي
• لا يجوز أن تحل الذاكرة طويلة المدى محل عملية التفويض الفوري
وأكد الفريق على أن «نظام ذاكرة وكيل الذكاء الاصطناعي» يجب اعتباره نقطة هجوم محتملة، ويجب تقييده ومراجعته من خلال إطار أمني متخصص. (المصدر: BlockBeats)
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • 7
  • 1
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
Low-PolyEarth
· منذ 6 س
يجب أن تواكب أطر أمان الذكاء الاصطناعي بسرعة، وإلا فسيصبح ذاكرة خلفية.
شاهد النسخة الأصليةرد0
LiquidationLineInTheReflection
· منذ 6 س
حقن الذاكرة هذه الحيلة خطيرة جدًا، الذكاء الاصطناعي يعتقد أن العادة هي تفويض، التفكير فيها بعمق مرعب جدًا
شاهد النسخة الأصليةرد0
GateUser-8df0eb2b
· منذ 6 س
الذاكرة طويلة المدى لا يمكن استبدالها بالتفويض في الوقت الحقيقي، لندرج ذلك في معايير الكود
شاهد النسخة الأصليةرد0
0xSideQuest
· منذ 7 س
في المستقبل، يجب أن تتضمن عمليات التحويل بواسطة الذكاء الاصطناعي نافذة منبثقة تقول "هل أنت متأكد أنك لم تتعرض للتلاعب العقلي؟"
شاهد النسخة الأصليةرد0
WalletEarlyAccessAlarm
· منذ 7 س
اعتبر نظام الذاكرة كواجهة للهجوم لإجراء التدقيق، هذه هي طريقة التفكير الأمنية الصحيحة
شاهد النسخة الأصليةرد0
GateUser-6d80555a
· منذ 7 س
عملية استرداد الأموال والتحويل يجب أن تتم بالتأكيد الفوري، والتأخير في التفويض = فخ مخفي
شاهد النسخة الأصليةرد0
GlassDomeObservatory
· منذ 7 س
تفعيل الأوامر الغامضة يؤدي إلى التحقق الثانوي، وهو بمثابة وضع "فحص اليقظة" للذكاء الاصطناعي
شاهد النسخة الأصليةرد0
  • مُثبت