أنثروبيك دعت إلى حماية وكلاء الذكاء الاصطناعي وفقًا لمبدأ الثقة الصفرية - فورك لوغ: العملات المشفرة، الذكاء الاصطناعي، التفرد، المستقبل

AI-agents ИИ агенты 3# دعت شركة أنثروبيك إلى حماية وكلاء الذكاء الاصطناعي وفق مبدأ الثقة الصفرية

نشرت فريق أنثروبيك في مدونة كلود دليل الثقة الصفرية لوكلاء الذكاء الاصطناعي حول نشر الوكلاء المستقلين بشكل آمن في بيئة الشركات. يحدد الوثيقة المخاطر الرئيسية لأنظمة الوكلاء ونهج الأمن السيبراني للأعمال.

تسريع الذكاء الاصطناعي لدورة الهجمات

وفقًا لتقييم أنثروبيك، قلصت النماذج المتقدمة الفاصل الزمني بين اكتشاف الثغرة واستغلالها من شهور إلى ساعات. وتقترح الشركة أن نأخذ بعين الاعتبار ليس فقط الهجمات المعززة بالذكاء الاصطناعي على البنية التحتية، بل أيضًا مخاطر الوكلاء أنفسهم، الذين قد يفسرون الأهداف، يختارون الأدوات، ويؤدون إجراءات متعددة الخطوات دون مشاركة مستمرة من الإنسان.

أساس الدليل هو مبادئ الثقة الصفرية: عدم الثقة بشكل افتراضي، التحقق من كل إجراء، والافتراض بإمكانية الاختراق. تشير أنثروبيك إلى توصيات NIST SP 800-207، المنشورة في عام 2020، وسلسلة إرشادات تنفيذ الثقة الصفرية التي بدأت NSA إصدارها في عام 2026. يُعتبر الدليل إطار عمل عملي لفرق الأمن، والمصممين، والمهندسين، وليس مخطط امتثال شامل.

من بين التهديدات الرئيسية المدرجة في الوثيقة، التدخلات المباشرة وغير المباشرة عبر المطالبات، تلوث الأدوات، إساءة استخدام الهوية والصلاحيات، تسميم الذاكرة والسياق، بالإضافة إلى هجمات على سلسلة التوريد.

وصف التسميم المباشر للمطالبات بأنه إدخال تعليمات ضارة عبر إدخال المستخدم، بينما التسميم غير المباشر يتم عبر صفحات الويب، الرسائل، المستندات، وغيرها من المصادر الخارجية التي يعالجها الوكيل أثناء العمل.

تتناول الوثيقة استبدال الأدوات الشرعية بأخرى خبيثة، وسلاسل الاستدعاء الخطرة، حيث أن الأدوات الآمنة بشكل فردي قد تكون خطرة عند استخدامها معًا. تستخدم أنثروبيك مفاهيم "نطاق الانفجار" و"أقل وكالة": لا يتعلق الأمر فقط بأقل حقوق وصول، بل أيضًا بتقييد صارم لإجراءات الوكيل، وتواتر الاستدعاءات، والمجالات التي يمكنه الوصول إليها.

الثقة الصفرية لأنظمة الوكلاء

لحماية الأنظمة، تقترح الشركة نموذج نضج ثلاثي المستويات ومجموعة من التدابير التقنية الأساسية. في المستوى الأول، توصي الدليل بمنح كل نسخة من الوكيل هوية تشفير فريدة، واستخدام رموز مؤقتة قصيرة العمر، وتطبيق "المنع الافتراضي"، و"إدارة الوصول بناءً على الدور". بالنسبة للوكلاء الذين يتعاملون مع مدخلات غير موثوق بها مثل محتوى الويب والمستندات، يُعتبر "التنفيذ في الحاوية الرملية" إجراءً إلزاميًا تقريبًا.

في المستويات الأعلى، تقترح أنثروبيك تطبيق:

  • معيار mTLS مع مصادقة متبادلة بين العميل والخادم باستخدام الشهادات الرقمية؛
  • هوية مرتبطة بالأجهزة عبر HSM أو TPM، بالإضافة إلى التصديق عن بعد.

مفاتيح API الثابتة وكلمات المرور المشتركة لحسابات الخدمة تعتبر غير مناسبة حتى للمستوى الأساسي.

قسم كبير مخصص للمراقبة. توصي أنثروبيك بتسجيل جميع إجراءات الوكيل بشكل مفصل، بما في ذلك استدعاءات الأدوات، الوصول إلى البيانات، والاتصالات الخارجية، ثم إرسال الأحداث إلى نظام إدارة معلومات الأمان والأحداث SIEM لمطابقتها في الوقت الحقيقي. من بين المقاييس الرئيسية، يُذكر زمن البقاء (dwell time) والتغطية (coverage). بالنسبة للأنظمة الحرجة، يُحدد وقت اكتشاف الانحرافات المستهدف بأنه خلال ساعة واحدة. كما يقترح الدليل بناء "مصفوفة التتبع" لربط كل إجراء للوكيل بالطلب الأصلي واستعادة سلسلة القرارات كاملة.

مستقبل مركز عمليات الأمن — الوكلاء تحت مراقبة الإنسان

في قسم الاستجابة، يوضح أنثروبيك مبدأ: أتمتة البيروقراطية حول الحادث، ولكن لا تتخذ القرارات الرئيسية بشكل تلقائي. يُقترح أن يُكلف الوكلاء والنماذج بجمع وتحليل الأدلة الأولية، وإدارة فروع التحقيق المتوازية، وإعداد مسودة للتقرير النهائي. يُنصح أن تظل قرارات التثبيط، والكشف عن الحوادث، والتواصل مع العملاء من مسؤولية البشر. نفس النهج يُطبق على "عمليات الحماية" — مع الإشارة إلى الانتقال من أنظمة SOAR التقليدية إلى أنظمة تعتمد على الوكلاء.

يحتوي الوثيقة على مؤشرات كمية. تشير أنثروبيك إلى دراسة Microsoft Spotlighting، التي أظهرت أن نجاح الهجمات غير المباشرة عبر تسميم المطالبات انخفض من أكثر من 50% إلى أقل من 2%. كما تقدم نتائجها الخاصة باستخدام "المصنفات الدستورية"، التي وفقًا لها، تمنع أكثر من 95% من محاولات التراجع عن التحقق، مع زيادة طفيفة في الإنذارات الكاذبة.

في قسم سلسلة التوريد، توصي أنثروبيك باستخدام AI-BOM، وOpenSSF Scorecard، وتدقيق الاعتمادات، وتحليل إمكانية الوصول. وتستند الشركة في حجتها إلى دراستها الخاصة التي تشير إلى أن 250 مستندًا خبيثًا كافية لزرع باب خلفي في نماذج تتراوح بين 600 مليون و13 مليار معلمة.

وفي الختام، تستنتج أنثروبيك أن حماية الوكلاء بالمرشحات الجزئية والدفاع المحيطي غير كافٍ. وتقترح بناء الحماية حول الهوية، والصلاحيات الدنيا، والأضرار المحدودة مسبقًا، والتحقق المستمر من الإجراءات. وفقًا لتقييم أنثروبيك، فإن المؤسسات التي تتمتع بأفضل وضع هي تلك التي تمتلك بنية أمنية أساسية أقوى، وليس تلك التي تمتلك أذكى أنظمة ذكاء اصطناعي.

تذكيرًا، في يونيو، حذرت فريق أنثروبيك من مخاطر الوصول إلى مرحلة التكرار الذاتي للذكاء الاصطناعي.

شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
لا توجد تعليقات
  • مُثبت