ما هو تمرين الفريق الأحمر للذكاء الاصطناعي؟ ولماذا تحتاجه لحماية أمن الشركات السيبراني

الاختبار الأحمر للذكاء الاصطناعي (AI red teaming) هو منهج تقييم أمني يهدف إلى اختبار نظام الذكاء الاصطناعي بشكل استباقي قبل نشره رسميًا، باستخدام أساليب هجوم حقيقية، مع التركيز على الثغرات مثل حقن التعليمات، تسميم البيانات، وتجاوز الحواجز الأمنية. مع دخول أدوات التشغيل الذاتية للذكاء الاصطناعي إلى العمليات الأساسية للشركات، تتصاعد خطورة أخطاء النماذج من مجرد إخراج نصوص غير لائقة إلى تنفيذ أفعال خطيرة في العالم الحقيقي.
(مقدمة: تسريبات FT تكشف عن استراتيجية OpenAI الحاسمة: تحديث ChatGPT بشكل كبير لإطلاق "وكيل ذكاء اصطناعي يمكنه فعل أي شيء"، مما ينهي عصر الحوار النصي البحت)
(معلومات إضافية: لماذا يجب أن تتعلم هندسة الحصان؟ تحليل كامل لخمسة منتجات، ثلاثة مدارس، وخمسة مبادئ عالمية)

خلال عامين، ارتفعت أعداد حوادث الذكاء الاصطناعي من 233 حادثة إلى 362 حادثة. هذا الرقم كشف عنه تقرير مؤشر الذكاء الاصطناعي لعام 2026 من جامعة ستانفورد، مع زيادة تزيد عن خمسين بالمئة. والأهم أن هذا الرقم يُعنى فقط بالحوادث التي تم توثيقها؛ فكم من حوادث لم تُكشف بعد، ولا أحد يعلم عنها.

مشاكل أنظمة الذكاء الاصطناعي لم تكن أبدًا في "هل ستخطئ؟"، بل في "ما هي العواقب عندما تخطئ". قبل عام 2024، كانت أسوأ حالات أنظمة الذكاء الاصطناعي هي إخراج نصوص خاطئة أو ضارة؛ لكن بحلول 2026، الوضع اختلف تمامًا.

من "إخراج نصوص سيئة" إلى "تنفيذ أفعال خطيرة": لماذا حدثت تحولات نوعية في 2026

السبب الرئيسي وراء هذه التحولات هو انتشار وكلاء الذكاء الاصطناعي. الآن، لا يقتصر الذكاء الاصطناعي على الإجابة على الأسئلة، بل يقوم بأداء المهام نيابة عنك: الطلبات، البرمجة، قراءة قواعد البيانات، استدعاء واجهات برمجة التطبيقات الخارجية، والتفاعل مع أنظمة الشركات الداخلية.

عندما يتحول الذكاء الاصطناعي من "مستشار" إلى "مشغل"، لم تعد أخطاؤه تقتصر على مستوى اللغة، بل تتجسد مباشرة في أفعال حقيقية في العالم. تسرب البيانات، المعاملات غير المصرح بها، الانتقال إلى أنظمة حساسة، كلها تهديدات كانت تقتصر سابقًا على أمن المعلومات التقليدي، لكنها الآن يمكن أن تتسبب فيها هجمات ناجحة على أنظمة الذكاء الاصطناعي.

ثلاث طرق هجوم تصبح أكثر تعقيدًا في هذا السياق.

الأول هو حقن التعليمات (prompt injection). ببساطة، هو أن يستخدم المهاجم نصًا مصممًا بعناية، ليخدع النموذج ويجعله يتصرف خلافًا للتعليمات الأصلية، مما يؤدي إلى نتائج غير متوقعة من قبل المطورين. بالنسبة لوكلاء الذكاء الاصطناعي المتصلين بأدوات حقيقية، قد يعني ذلك تنفيذ أوامر دون علم المستخدم.

الثاني هو تسميم البيانات (data poisoning). ببساطة، هو إدخال معلومات خاطئة في بيانات تدريب النموذج أو قاعدة المعرفة، بحيث يتعلم النموذج بشكل منحرف، وتظهر انحرافات منهجية في الإخراج. بالنسبة للأنظمة المعتمدة على بنية RAG (الاسترجاع المعزز للتوليد)، فإن تلوث المعرفة يمثل هجومًا يكاد يكون غير مرئي.

الثالث هو تجاوز الحواجز الأمنية، أو ما يُعرف بالـ "جيلبريك" (jailbreak). ببساطة، هو أن يجد المهاجم طرقًا لتعطيل آليات الحماية في النموذج. الطرق التقليدية كانت هجمات مباشرة في جولة واحدة؛ لكن في 2026، أصبح أكثر شيوعًا التلاعب متعدد المراحل، حيث يستخدم المهاجم حوارات متعددة لبناء سياق تدريجي، وتجاوز آليات التحذير التي تنشط في طلب واحد.

السمات المشتركة لهذه الطرق الثلاثة هي: أدوات الاختراق التقليدية (المخصصة للثغرات البرمجية، حدود الشبكة، فحوصات التحقق من الهوية) غير قادرة على اكتشافها.

الاختبار الأحمر للذكاء الاصطناعي هو منهج تقييم مستقل

المفهوم الأساسي للاختبار الأحمر للذكاء الاصطناعي هو أنه قبل نشر النظام رسميًا، يتم استخدام أساليب هجوم حقيقية يطبقها مهاجمون فعليون، لاختبار أمان وموثوقية نظام الذكاء الاصطناعي بشكل استباقي.

هذا المفهوم ليس جديدًا، فمفهوم "الفريق الأحمر" (red team) مستخدم منذ عقود في المجالات العسكرية والأمن السيبراني التقليدية. الجديد هو نوعية الهدف: بدلاً من الثغرات المنطقية في الكود، أصبح التركيز على سلوك النموذج غير المتوقع.

تغطي عملية الاختبار الأحمر الشامل للذكاء الاصطناعي كامل مكدس النظام: النموذج نفسه، التعليمات النظامية (system prompt)، خط أنابيب الاسترجاع (RAG)، الأدوات الخارجية وواجهات برمجة التطبيقات، خط أنابيب البيانات، وإعدادات الحواجز الأمنية. الاختبار الذي يقتصر على النموذج فقط، دون تقييم البنية الكاملة، يعادل اختبار قفل الباب الأمامي فقط، دون النظر إلى النوافذ.

البيانات الناتجة عن الاختبار هي العنصر الأساسي: أي طرق الهجوم نجحت، وأيها فشلت، وكيفية تصنيف خطورتها. في 2026، أصبحت هذه البيانات ذات استخدامات جديدة، خاصة في ملفات الامتثال والتنظيم.

قوانين الاتحاد الأوروبي للذكاء الاصطناعي (EU AI Act) تتطلب التحقق من الامتثال قبل طرح أنظمة عالية الخطورة؛ إطار إدارة مخاطر الذكاء الاصطناعي (NIST AI RMF) يوفر منهجية منظمة لتحديد وتقييم وإدارة مخاطر الذكاء الاصطناعي؛ معهد MITRE أطلق ATLAS، وهو قاعدة معرفية للتهديدات والتكتيكات المضادة للذكاء الاصطناعي، لمساعدة الشركات على وصف تهديدات الذكاء الاصطناعي بلغة موحدة. قائمة OWASP LLM Top 10 هي أكثر تصنيف شائع لنقاط الضعف في تطبيقات نماذج اللغة الكبيرة، وتضم فئات رئيسية مثل حقن التعليمات، الإخراج غير الآمن، والكشف عن المعلومات الحساسة.

هذه الأطر تعمل معًا على تحويل مفهوم "أمان الذكاء الاصطناعي" غير المحدد إلى قوائم فحص قابلة للقياس والتدقيق، وهو ما تحتاجه إدارات الشؤون القانونية والامتثال في الشركات.

على مستوى الأدوات، أدوات مثل PyRIT (أداة تحديد المخاطر في بايثون) التي أطلقتها مايكروسوفت، وأداة garak لفحص ثغرات نماذج اللغة الكبيرة، وأدوات DeepTeam، تتيح للفرق الأمنية داخل الشركات إجراء اختبارات مضادة أساسية دون الاعتماد الكامل على خبراء خارجيين.

أي الشركات يجب أن تضع اختبار الفريق الأحمر في أولوياتها

بالطبع، ليست كل تطبيقات الذكاء الاصطناعي تواجه نفس مستوى المخاطر. إليكم بعض السيناريوهات التي تتطلب تقييم أمني عاجل.

أولاً، عندما يكون لوكيل الذكاء الاصطناعي صلاحية الوصول إلى أنظمة الشركة الأساسية أو بيانات العملاء. عندما يمكن للذكاء الاصطناعي تنفيذ عمليات ذات نتائج حقيقية، فإن تكلفة الخطأ تتجاوز مجرد إخراج نص غير دقيق.

ثانيًا، عند استخدامه لاتخاذ قرارات في مجالات حساسة: المالية، الرعاية الصحية، القانون، الموارد البشرية. فالأخطاء في هذه المجالات لها مسؤولية قانونية واضحة.

ثالثًا، عندما يكون نظام الذكاء الاصطناعي على وشك الخضوع لرقابة تنظيمية. جدول زمني لتنفيذ قوانين الاتحاد الأوروبي للذكاء الاصطناعي يتقدم، والمهلة للامتثال للأنظمة عالية الخطورة تتقلص.

رابعًا، عندما تعتمد بنية الذكاء الاصطناعي على RAG أو تتصل بأدوات خارجية. هذه البنى توسع من سطح الهجوم بشكل كبير، وتزيد من تعقيد الاختبار.

عند تقييم خطة الاختبار الأحمر، هناك أسئلة أساسية يجب التأكد منها: هل يغطي الاختبار كامل مكدس الذكاء الاصطناعي، أم يقتصر على النموذج فقط؟ هل سيناريوهات الهجوم مبنية على تهديدات حقيقية، أم مجرد قوائم فحص؟ هل يمكن ربط نتائج الاختبار بإطارات الحوكمة والامتثال؟ هل يمكن دمجه في عمليات الاستجابة للحوادث الأمنية الداخلية؟ وأخيرًا، هل يدعم الاختبار المستمر، وليس تقييمًا لمرة واحدة قبل الإطلاق؟

هذه النقطة مهمة بشكل خاص في 2026، حيث أن أنظمة الذكاء الاصطناعي ليست ثابتة: النماذج تتحدث، وقواعد المعرفة تتغير، والأدوات تتصل وتتغير. اختبار قبل النشر لا يكفي لتغطية المخاطر المستمرة بعد الإطلاق. المعيار هو كيف يمكن مراقبة النظام بشكل فعال بعد النشر لضمان استمرارية الأمان.