دراسة من DeepMind تكشف عن ست طرق يمكن للمهاجمين التلاعب بها في وكلاء الذكاء الاصطناعي

الملخص

• تحدد DeepMind التابعة لـ Google ستة فخاخ لوكلاء الذكاء الاصطناعي تكشف مخاطر التلاعب عبر الويب
• تعليمات HTML مخفية يمكنها أن تستولي صامتة على إجراءات وكلاء الذكاء الاصطناعي عبر الإنترنت
• حيل اللغة الإقناعية تجعل وكلاء الذكاء الاصطناعي ينفذون مهامًا ضارة
• مصادر بيانات مسمومة يمكنها إفساد ذاكرة وكلاء الذكاء الاصطناعي ومخرجاتهم
• يواجه وكلاء الذكاء الاصطناعي المستقلون مخاطر متزايدة عبر الأنظمة المتصلة

لقد حدد باحثون لدى Google DeepMind ست طرق هجوم يمكنها التلاعب بوكلاء الذكاء الاصطناعي عبر الإنترنت. توضح الدراسة كيف يمكن التأثير على وكلاء الذكاء الاصطناعي عبر المحتوى على الويب والتعليمات المخفية ومصادر البيانات المسمومة. ونتيجة لذلك، تسلط النتائج الضوء على مخاطر متزايدة مع قيام الشركات بنشر وكلاء الذكاء الاصطناعي لمهام واقعية عبر بيئات رقمية.

حقن المحتوى والتلاعب الدلالي يكشفان نقاط الضعف الأساسية

حدّد الباحثون فخاخ حقن المحتوى كتهديد مباشر لوكلاء الذكاء الاصطناعي أثناء التفاعلات على الويب. يمكن للتعليمات المخفية الموضوعة في HTML أو البيانات الوصفية أن تتحكم في الإجراءات دون اكتشافها من قبل البشر. ونتيجة لذلك، قد ينفذ وكلاء الذكاء الاصطناعي أوامرًا مضمنة في عناصر الصفحة غير المرئية.

يعتمد التلاعب الدلالي على اللغة الإقناعية بدلًا من الشيفرة المخفية للتأثير على وكلاء الذكاء الاصطناعي. يقوم المهاجمون بتصميم صفحات بنبرة ذات سلطة وسرديات منظمة لتجاوز وسائل الحماية. قد يسيء وكلاء الذكاء الاصطناعي تفسير التعليمات الضارة على أنها مهام صالحة.

تستغل هذه الأساليب الطريقة التي يعالج بها وكلاء الذكاء الاصطناعي المعلومات عبر الإنترنت ويعطيها الأولوية أثناء اتخاذ القرار. تُظهر الدراسة أن المطالبات المُهيكلة يمكن أن تعيد تشكيل مسارات الاستدلال بطرق دقيقة. يمكن للمهاجمين توجيه وكلاء الذكاء الاصطناعي نحو إجراءات غير مقصودة دون تفعيل دفاعات النظام.

هجمات الذاكرة والهجمات السلوكية توسّع سطح المخاطر

وجد الباحثون أيضًا أن المهاجمين يمكنهم التلاعب بأنظمة الذاكرة التي يستخدمها وكلاء الذكاء الاصطناعي لاسترجاع المعلومات. من خلال حقن بيانات كاذبة في مصادر موثوقة، يؤثر المهاجمون على المخرجات والاستجابات طويلة الأمد. ونتيجة لذلك، قد يعامل وكلاء الذكاء الاصطناعي المعلومات المفبركة على أنها معرفة مُتحقق منها مع مرور الوقت.

تستهدف هجمات التحكم السلوكي مباشرة الإجراءات التي ينفذها وكلاء الذكاء الاصطناعي أثناء التصفح الروتيني. يمكن لتعليمات جلب الحظر المضمنة أن تتجاوز القيود وتُطلق عمليات غير مقصودة. قد يصل وكلاء الذكاء الاصطناعي الذين لديهم صلاحيات واسعة إلى بيانات حساسة ويقومون بإرسالها خارجيًا.

تسلط الدراسة الضوء على أن هذه المخاطر تزداد مع حصول وكلاء الذكاء الاصطناعي على قدر أكبر من الاستقلالية وإمكانية الوصول إلى النظام. يمكن للمهاجمين استغلال سير العمل الروتيني لإدراج أوامر خبيثة في المهام العادية. يواجه وكلاء الذكاء الاصطناعي تعرضًا أعلى عند دمجهم مع أدوات خارجية وواجهات APIs.

الفخاخ النظامية وعوامل البشر تُضخم أثر التهديد

يحذر الباحثون من أن الفخاخ النظامية يمكنها أن تؤثر على عدة وكلاء ذكاء اصطناعي في آن واحد عبر أنظمة متصلة. قد تؤدي عمليات التلاعب المُنسقة إلى إخفاقات متتالية شبيهة باضطرابات السوق التي تقودها الخوارزميات. ونتيجة لذلك، يمكن لوكلاء الذكاء الاصطناعي الذين يعملون في بيئات مشتركة أن يُعززوا المخاطر على نطاق واسع.

يبقى المراجعون البشريون عرضة للخطر ضمن سير عمل وكلاء الذكاء الاصطناعي وعملية الموافقة. يمكن للمهاجمين صياغة مخرجات تبدو موثوقة وتجاوز فحوصات الإشراف. قد ينفذ وكلاء الذكاء الاصطناعي إجراءات ضارة بعد تلقي موافقة بشرية.

تضع الدراسة هذه النتائج ضمن سياق أوسع يتمثل في زيادة نشر الذكاء الاصطناعي عبر الصناعات. باتت وكلاء الذكاء الاصطناعي تتولى مهام مثل التواصل والشراء والتنسيق عبر أنظمة مؤتمتة. تصبح تأمين بيئة التشغيل أمرًا بالغ الأهمية بقدر أهمية تحسين تصميم النموذج.

يوصي الباحثون بالتدريب الخصومي، وتصفية المدخلات، وأنظمة المراقبة لتقليل التعرض. تشير الدراسة إلى أن وسائل الدفاع ما زالت مجزأة وتفتقر إلى معايير على مستوى الصناعة. ومع استمرار توسع دور وكلاء الذكاء الاصطناعي، تصبح الحاجة إلى وسائل حماية مُنسقة أكثر إلحاحًا.