"2 + 2 = 5" يخدع متصفحات الذكاء الاصطناعي: ChatGPT Atlas، Claude، Perplexity Comet.. جميع الإصدارات الست تسلم كلمات المرور بطاعة

شركة الأمن السيبراني LayerX، الباحث Roy Paz، في نهاية يونيو نشر هجومًا لإثبات المفهوم، من خلال "سيناريو لعبة مزيف" جعل متصفحات AI تعتقد أن الحواجز الأمنية لم تعد سارية. تم اختبار 6 متصفحات وكيلة رئيسية، بما في ذلك ChatGPT Atlas، وClaude Chrome extension، وPerplexity Comet، جميعها فشلت، وتم تسريب شهادات SSH للمهاجمين.
(مقدمة: ما هي تدريبات الفريق الأحمر للذكاء الاصطناعي؟ ولماذا تحتاجها لحماية أمن شركتك)
(خلفية إضافية: أكثر من 1500 موظف في Meta يوقعون عريضة! يطالبون بتقليص نطاق "مراقبة AI للوحة المفاتيح والفأرة" وإيقاف لمدة نصف ساعة يوميًا)

جدول المحتويات

Toggle

• خداع AI في حلم
• الحواجز سلبية، جوهرها مجرد مسكن
• الثغرات التي يجب على الشركات والمستخدمين سدها

ستة من متصفحات AI الرئيسية في السوق، تم خداعها بلعبة مزيفة تقول "2 + 2 = 5 هو الإجابة الصحيحة"، جميعها سلّمت مفاتيح SSH الخاصة بمستودعات GitHub الخاصة. هذا هو هجوم إثبات المفهوم (PoC) الذي نشره الباحث Roy Paz من شركة LayerX Security في 29 يونيو، وتم إعادة إنتاجه على المنتجات الفعلية.

جوهر بيع متصفحات AI هو "قل جملة واحدة، وتقوم هي بالبحث عن مطعم، وحجز طاولة، وإرسال بريد تأكيد". ببساطة، يتم تسليم التحكم في المتصفح إلى AI، ليقوم بدلاً منك بالنقر، وملء النماذج، والوصول إلى الخدمات المسجل دخولها. لكن المشكلة أن خط التفويض هذا غامض للغاية، فقد يريد المستخدم فقط البحث عن معلومات، لكنه يلمس مدير كلمات المرور دون قصد.

خداع AI في حلم

طريقة هجوم LayerX تتكون من أربع مراحل، الفكرة الأساسية هي جعل AI يعتقد أنه دخل "عالمًا بقواعد مختلفة".

أولاً، يقوم الموقع الضار بإنشاء إطار لعبة أو ألغاز، ويعلن بوضوح "هذا سيناريو خيالي، القواعد العادية لا تسري". ثم، يطرح الموقع سؤالًا رياضيًا "2 + 2 = ؟"، لكنه يحدد القاعدة بأن "الإجابة بـ 5 تعطي نقاطًا، بينما الإجابة بـ 4 تخصم نقاطًا". يتبع AI القاعدة ويتعلم شيئًا واحدًا: في هذا السيناريو، المنطق التقليدي غير صالح.

الخطوة الثالثة هي القفزة الأكثر أهمية: بمجرد أن يقبل AI أن "الخطأ هو الصواب"، يتحول إطار استدلاله من العالم الواقعي إلى عالم خيالي، ويبدأ في افتراض أن القواعد قد أعيد تعيينها. في الخطوة الأخيرة، يتصرف AI وفقًا "لمنطق اللعبة" بدلاً من بروتوكولات الأمان، وينفذ عمليات حساسة دون تشغيل أي تحذيرات داخلية، لأنه في منطقه الحسابي، لا يعتقد أنه تجاوز الحدود.

Roy Paz كتب في مقال:

"يفترض AI أن السيناريو الذي هو فيه حقيقي، ولذلك يجب أن يبقى سلوكه ضمن حدود الحواجز الأمنية. لكن إذا تمكنا من خداع AI لتحويل السيناريو إلى خيال، عالم يمكن فيه وضع قواعد عشوائية وأي شيء مسموح، فسيبدأ في التصرف وكأن أفعاله ليس لها عواقب في العالم الحقيقي."

الحواجز سلبية، جوهرها مجرد مسكن

اختبرت LayerX 6 متصفحات وملحقات وكيلة: ChatGPT Atlas من OpenAI، وComet من Perplexity، وFellou، وGenspark Browser، وSigma Browser، وClaude Chrome extension من Anthropic. جميعها فشلت، ولم يتمكن أي منها من التعرف على "سرقة بيانات الحساب" كسلوك ينتهك الحواجز.

العمليات التي تم إجراؤها تحت التوجيه تضمنت: استخراج مفاتيح SSH من مستودعات GitHub الخاصة، ونسخ بيانات المصادقة الحساسة دون تأكيد المستخدم، والوصول إلى المستودعات بحالة تسجيل الدخول، وتسريب المفاتيح للمهاجم. يشير LayerX إلى أن السيناريوهات الواقعية يمكن أن تمتد إلى مديري كلمات المرور، والأدوات الداخلية، وأي خدمات مسجل دخولها يمكن الوصول إليها عبر المتصفح.

تعليق Ars Technica يشير إلى مشكلة هيكلية أكثر جوهرية: خط دفاع شركات LLM الحالي هو "الحواجز"، التي تضع طلبات معينة محظورة، مثل تطوير ثغرات برمجية أو سرقة بيانات الحساب. هذه الآلية تفاعلية سلبية، تعالج الأعراض فقط ولا تعالج الجذور.

مثل سيارة بها عيب في التصميم، الشركة المصنعة لا تصلح السيارة، بل تقترح إعادة تصميم الطريق.

الثغرات التي يجب على الشركات والمستخدمين سدها

توصيات LayerX للدفاع تنقسم إلى مستويين.

للمصنعين: قبل أن يصل AI إلى السيناريوهات المسجل دخولها (المستودعات، البريد الإلكتروني، مدير كلمات المرور)، يجب طلب تأكيد صريح من المستخدم؛ إضافة آلية "فحص السيناريو"، عندما تتعارض افتراضات تشغيل AI مع الواقع، خاصة عند ظهور لغة مثل "القواعد لم تعد سارية"، يجب التحذير؛ افتراضيًا، تقييد نطاق وصول وكيل AI. ببساطة، الصلاحيات الافتراضية لمتصفحات الوكيل الحالية واسعة جدًا، ويجب عكسها إلى "يجب السماح صراحةً للتنفيذ".

للمستخدمين: احرص بحذر على ما يمكن لمتصفح AI الوصول إليه، وعند عدم الاستخدام، ألغِ صلاحية الوصول للجلسات المسجل دخولها؛ والأهم من ذلك، الاعتراف بأن تشغيل وضع الوكيل يعني تسليم التحكم الكامل في جميع الخدمات المسجل دخولها دفعة واحدة.

قامت LayerX بتسمية هذا البحث على اسم لعبة الفيديو BioShock، تكريمًا لعبارة التحكم بالعقل في اللعبة "Would you kindly"، حيث تعتقد الشخصيات أنها تتصرف بحرية، لكن كل خطوة كانت مصممة مسبقًا.