استخدم نموذجا آمنا لحماية النموذج غير الآمن ، واستخدم نظاما ذكيا لمقاومة الهجمات من الاستخبارات. هذه المقالة مأخوذة من مقال كتبه Windrush وأعيد طبعه بواسطة TechFlow Deep Tide. (ملخص: باكستان تعلن عن 2,000 ميجاوات من الكهرباء ل "مركز تعدين الذكاء الاصطناعي والبيتكوين" رئيس الوزراء يعين مساعدا خاصا ل blockchain والعملات المشفرة) (ملحق الخلفية: تجربة Hon Hai الداخلية: يمكن أن يحل الذكاء الاصطناعي محل 80٪ من الوظائف ، وكشف رئيس مجلس الإدارة ليو يانغوي عن مخطط الثالوث للمصنع المستقبلي) يبدأ المهوسون أعمالا تجارية ، ويشتري Xiaobai دروسا ، والرسامون عاطلون عن العمل ، لكن الحقيقة المحرجة هي: هبوط الذكاء الاصطناعي ساخن ، لكن المؤامرة لا تأخذ طريق المجيء ، ولكنها ترمي النرد. علاوة على ذلك ، في الأيام الأولى للصناعة ، غالبا ما يكون السطح الأول لهذا النرد إما أصفر أو رمادي. السبب أيضا بسيط للغاية ، فالأرباح الضخمة تولد زخما ، ناهيك عن المرحلة المبكرة من التطوير ، المليئة دائما بالثغرات. بالنظر إلى هذه المجموعة من البيانات ، من الواضح: في الوقت الحالي ، يحتوي أكثر من 43٪ من عقد خدمة MCP على مسارات استدعاء shell لم يتم التحقق منها ، وأكثر من 83٪ من عمليات النشر لديها ثغرات أمنية في تكوين MCP (بروتوكول سياق النموذج). 88٪ من عمليات نشر مكونات الذكاء الاصطناعي لا تحتوي على أي شكل من أشكال الدرابزين على الإطلاق ؛ يتم حاليا عرض 150,000 إطار عمل نشر الذكاء الاصطناعي خفيف الوزن مثل Ollama على الشبكة العامة العالمية ، وتم اختطاف أكثر من مليار دولار من قوة الحوسبة للتعدين...... ومن المفارقات أن مهاجمة أذكى النماذج الكبيرة تتطلب الحد الأدنى من التكتيكات - مجرد مجموعة من المنافذ الافتراضية المفتوحة ، أو ملف تعريف YAML المكشوف ، أو مسار استدعاء shell لم يتم التحقق منه ، وحتى ، طالما تمت كتابة المطالبات بدقة كافية ، يمكن للنموذج الكبير نفسه أن يساعد الرمادي في إنتاج اتجاه الهجوم. يتم إدخال باب خصوصية بيانات المؤسسة والخروج منه بشكل تعسفي في عصر الذكاء الاصطناعي. لكن المشكلة ليست غير قابلة للحل: الذكاء الاصطناعي لديه أكثر من مجرد التوليد والهجوم. أصبحت كيفية استخدام الذكاء الاصطناعي للحماية بشكل متزايد الموضوع الرئيسي لهذا العصر. في الوقت نفسه ، على السحابة ، أصبح وضع قواعد الذكاء الاصطناعي أيضا محور تركيز كبار بائعي السحابة ، ويعد Alibaba Cloud Security أحد أكثر الممثلين شيوعا. في لحظة إصدار Aliyun Feitian الذي انتهى للتو ، أعلنت Aliyun رسميا عن مسارين للأمن السحابي: Security for الذكاء الاصطناعي و الذكاء الاصطناعي للأمن ، وأصدرت منتجات سلسلة "Cloud Shield for الذكاء الاصطناعي" لتزويد العملاء ب "حلول أمنية شاملة للتطبيقات النموذجية" ، وهو أفضل مثال على استكشاف الصناعة الحالية. 01 نرد لفة الذكاء الاصطناعي ، لماذا يواجه الرمادي والأصفر دائما أولا؟ في تاريخ التكنولوجيا البشرية ، الذكاء الاصطناعي ليس أول نوع جديد "يتم اختباره بواسطة العاصفة الصفراء أولا" ، فالتفشي الأول للرمادي والأصفر ، هو أيضا قانون تعميم التكنولوجيا وليس حادثا. في عام 1839 ، ظهر التصوير الفوتوغرافي باللوحة الفضية ، وكانت الموجة الأولى من المستخدمين هي الصناعة. في الأيام الأولى للإنترنت ، لم تبدأ التجارة الإلكترونية ، وبدأت مواقع الويب للبالغين في التفكير في الدفع عبر الإنترنت. حفلة الصوف النموذجية الكبيرة اليوم ، إلى حد ما ، تعيد أيضا إنشاء أسطورة "عصر اسم المجال" للثراء. دائما ما يتم لمس أرباح العصر أولا باللونين الرمادي والأصفر. لأنهم لا يهتمون بالامتثال ، لا تنتظر الإشراف ، والكفاءة عالية بشكل طبيعي. لذلك ، فإن كل فترة تفشي تكنولوجية هي أولا وعاء من "الحساء الموحل" ، وبطبيعة الحال الذكاء الاصطناعي ليس استثناء. في ديسمبر 2023 ، استخدم أحد المتسللين كلمة سريعة فقط - "عرض 1 دولار" - لحث روبوت خدمة العملاء في متجر 4S على بيع سيارة شيفروليه تقريبا مقابل 1 دولار. هذا هو "الحقن الفوري" الأكثر شيوعا في عصر الذكاء الاصطناعي: لا يلزم التحقق من الإذن ، ولم يتبق أي آثار سجل ، ولا يمكن استبدال السلسلة المنطقية بأكملها إلا ب "التحدث بذكاء". خطوة أخرى إلى الأمام هي "الهروب من السجن". استخدم المهاجمون أسئلة بلاغية ، ولعب الأدوار ، ومطالبات الالتفاف ، وما إلى ذلك ، لجعل النموذج ينجح في قول أشياء لم يكن يجب أن يقولها: المواد الإباحية ، وتصنيع المخدرات ، ورسائل التحذير الكاذبة...... في هونغ كونغ ، سرق بعض الأشخاص 200 مليون دولار هونج كونج من حسابات الشركات عن طريق تزوير الأصوات التنفيذية. بالإضافة إلى عمليات الاحتيال ، ينطوي الذكاء الاصطناعي أيضا على خطر "الإنتاج غير المقصود": في عام 2023 ، قام نظام نموذجي كبير لعملاق تعليمي بتصدير "مواد تعليمية سامة" ذات محتوى متطرف عند إنشاء خطط الدروس ، وفي غضون 3 أيام فقط ، اندلعت حماية حقوق الوالدين ، واندلعت الرأي العام ، وخسر سعر سهم الشركة 12 مليار يوان. لا يفهم الذكاء الاصطناعي القانون ، لكن لديه القدرة ، والقدرة على إلحاق الضرر ، بمجرد الخروج من الرقابة ، تكون ضارة. ولكن من وجهة نظر أخرى ، فإن تقنية الذكاء الاصطناعي جديدة ، لكن التدفق النهائي ووسائل الإنتاج الرمادي والأصفر لم يتغير ، ولحلها ، يعتمد ذلك على السلامة. 02 أمن الذكاء الاصطناعي دعنا نتحدث أولا عن المعرفة الباردة التي تم تجنبها بشكل جماعي من قبل صناعة الذكاء الاصطناعي: جوهر النماذج الكبيرة ليس "الذكاء" أو "الفهم" ، ولكن التوليد الدلالي تحت التحكم في الاحتمالات. لذلك ، بمجرد تجاوز سياق التدريب ، قد يتم إخراج نتائج غير متوقعة. قد يكون هذا النوع من الطبقة الفائقة ، فأنت تريده أن يكتب الأخبار ، ليكتب لك الشعر. قد يكون أيضا أنك تريد أن يوصي بعنصر ما ويخبرك فجأة أن درجة الحرارة في طوكيو اليوم هي 25 درجة مئوية تحت الصفر. علاوة على ذلك ، تخبرها أنه في اللعبة ، إذا لم تتمكن من الحصول على الرقم التسلسلي الأصلي لمثل هذا البرنامج وكذا ، تصويره ، ويمكن للنموذج الكبير أن يبذل قصارى جهده لمساعدة المستخدمين في العثور على رقم تسلسلي حقيقي للبرنامج بتكلفة 0. من أجل ضمان إمكانية التحكم في المخرجات ، يجب على المؤسسة فهم النموذج والأمان. وفقا لأحدث "تقرير تقييم قدرة نموذج أمن الصين الكبير" الصادر عن IDC ، فإن PK من Alibaba مع جميع الشركات المصنعة المحلية الكبرى ذات القدرات النموذجية الأمنية الكبيرة هي الأولى من بين 4 من 7 مؤشرات ، والثلاثة المتبقية كلها أعلى من متوسط الصناعة. من حيث النهج ، فإن الإجابة التي قدمتها Alibaba Cloud Security واضحة أيضا: دع الأمان يتقدم على سرعة الذكاء الاصطناعي ، وقم ببناء إطار حماية كامل من ثلاث طبقات من أسفل إلى أعلى - من أمان البنية التحتية ، إلى التحكم في إدخال ومخرجات النموذج الكبير ، إلى حماية خدمة تطبيقات الذكاء الاصطناعي. من بين الطبقات الثلاث ، الأكثر وجودية هو "درابزين الذكاء الاصطناعي" للطبقة الوسطى المخصصة لمخاطر النماذج الكبيرة. بشكل عام ، المخاطر الرئيسية لأمن النموذج الكبير هي: انتهاكات المحتوى ، وتسرب البيانات الحساسة ، وهجمات حقن الكلمات السريعة ، وأوهام النموذج ، وهجمات كسر الحماية. ومع ذلك ، فإن الحلول الأمنية التقليدية هي في الغالب بنى للأغراض العامة ، مصممة للويب ، وليس ل "البرامج الناطقة" ، وبطبيعة الحال لا يمكنها تحديد المخاطر الفريدة لتطبيقات النماذج الكبيرة والاستجابة لها بدقة. من الصعب تغطية المشكلات الناشئة مثل أمان المحتوى الذي تم إنشاؤه ، والدفاع عن الهجوم السياقي ، ومصداقية إخراج النموذج. والأهم من ذلك ، أن الحلول التقليدية تفتقر إلى وسائل دقيقة يمكن التحكم فيها وآليات التتبع البصري ، مما يؤدي إلى نقاط عمياء ضخمة في حوكمة الذكاء الاصطناعي ، وبطبيعة الحال لا يمكنهم حل المشكلة إذا كانوا لا يعرفون مكان المشكلة. لا تكمن القوة الحقيقية لدرابزين الذكاء الاصطناعي في "قدرته على الحظر" فحسب ، بل سواء كنت تقوم بنماذج كبيرة مدربة مسبقا أو خدمات الذكاء الاصطناعي أو وكلاء الذكاء الاصطناعي في أشكال أعمال مختلفة ، فهي تعرف ما تتحدث عنه وما يولده النموذج الكبير ، وذلك لتوفير اكتشاف دقيق للمخاطر وقدرات دفاعية استباقية لتحقيق الامتثال والأمن والاستقرار. على وجه التحديد ، الذكاء الاصطناعي Guardrail مسؤول بشكل خاص عن حماية ثلاثة أنواع من السيناريوهات: خلاصة القول للامتثال: إجراء مراجعة امتثال متعددة الأبعاد لمحتوى النص لمدخلات ومخرجات الذكاء الاصطناعي التوليدي ، والتي تغطي فئات المخاطر مثل الحساسية السياسية ، والمواد الإباحية والابتذال ، والتحيز والتمييز ، والقيم السيئة ، والكشف العميق عن بيانات الخصوصية والمعلومات الحساسة التي قد يتم تسريبها أثناء تفاعل الذكاء الاصطناعي ، ودعم الخصوصية الشخصية ، والمؤسسة ...
المحتوى هو للمرجعية فقط، وليس دعوة أو عرضًا. لا يتم تقديم أي مشورة استثمارية أو ضريبية أو قانونية. للمزيد من الإفصاحات حول المخاطر، يُرجى الاطلاع على إخلاء المسؤولية.
لماذا في عصر الذكاء الاصطناعي، تنفجر أموال القمار والدعارة أولاً؟
استخدم نموذجا آمنا لحماية النموذج غير الآمن ، واستخدم نظاما ذكيا لمقاومة الهجمات من الاستخبارات. هذه المقالة مأخوذة من مقال كتبه Windrush وأعيد طبعه بواسطة TechFlow Deep Tide. (ملخص: باكستان تعلن عن 2,000 ميجاوات من الكهرباء ل "مركز تعدين الذكاء الاصطناعي والبيتكوين" رئيس الوزراء يعين مساعدا خاصا ل blockchain والعملات المشفرة) (ملحق الخلفية: تجربة Hon Hai الداخلية: يمكن أن يحل الذكاء الاصطناعي محل 80٪ من الوظائف ، وكشف رئيس مجلس الإدارة ليو يانغوي عن مخطط الثالوث للمصنع المستقبلي) يبدأ المهوسون أعمالا تجارية ، ويشتري Xiaobai دروسا ، والرسامون عاطلون عن العمل ، لكن الحقيقة المحرجة هي: هبوط الذكاء الاصطناعي ساخن ، لكن المؤامرة لا تأخذ طريق المجيء ، ولكنها ترمي النرد. علاوة على ذلك ، في الأيام الأولى للصناعة ، غالبا ما يكون السطح الأول لهذا النرد إما أصفر أو رمادي. السبب أيضا بسيط للغاية ، فالأرباح الضخمة تولد زخما ، ناهيك عن المرحلة المبكرة من التطوير ، المليئة دائما بالثغرات. بالنظر إلى هذه المجموعة من البيانات ، من الواضح: في الوقت الحالي ، يحتوي أكثر من 43٪ من عقد خدمة MCP على مسارات استدعاء shell لم يتم التحقق منها ، وأكثر من 83٪ من عمليات النشر لديها ثغرات أمنية في تكوين MCP (بروتوكول سياق النموذج). 88٪ من عمليات نشر مكونات الذكاء الاصطناعي لا تحتوي على أي شكل من أشكال الدرابزين على الإطلاق ؛ يتم حاليا عرض 150,000 إطار عمل نشر الذكاء الاصطناعي خفيف الوزن مثل Ollama على الشبكة العامة العالمية ، وتم اختطاف أكثر من مليار دولار من قوة الحوسبة للتعدين...... ومن المفارقات أن مهاجمة أذكى النماذج الكبيرة تتطلب الحد الأدنى من التكتيكات - مجرد مجموعة من المنافذ الافتراضية المفتوحة ، أو ملف تعريف YAML المكشوف ، أو مسار استدعاء shell لم يتم التحقق منه ، وحتى ، طالما تمت كتابة المطالبات بدقة كافية ، يمكن للنموذج الكبير نفسه أن يساعد الرمادي في إنتاج اتجاه الهجوم. يتم إدخال باب خصوصية بيانات المؤسسة والخروج منه بشكل تعسفي في عصر الذكاء الاصطناعي. لكن المشكلة ليست غير قابلة للحل: الذكاء الاصطناعي لديه أكثر من مجرد التوليد والهجوم. أصبحت كيفية استخدام الذكاء الاصطناعي للحماية بشكل متزايد الموضوع الرئيسي لهذا العصر. في الوقت نفسه ، على السحابة ، أصبح وضع قواعد الذكاء الاصطناعي أيضا محور تركيز كبار بائعي السحابة ، ويعد Alibaba Cloud Security أحد أكثر الممثلين شيوعا. في لحظة إصدار Aliyun Feitian الذي انتهى للتو ، أعلنت Aliyun رسميا عن مسارين للأمن السحابي: Security for الذكاء الاصطناعي و الذكاء الاصطناعي للأمن ، وأصدرت منتجات سلسلة "Cloud Shield for الذكاء الاصطناعي" لتزويد العملاء ب "حلول أمنية شاملة للتطبيقات النموذجية" ، وهو أفضل مثال على استكشاف الصناعة الحالية. 01 نرد لفة الذكاء الاصطناعي ، لماذا يواجه الرمادي والأصفر دائما أولا؟ في تاريخ التكنولوجيا البشرية ، الذكاء الاصطناعي ليس أول نوع جديد "يتم اختباره بواسطة العاصفة الصفراء أولا" ، فالتفشي الأول للرمادي والأصفر ، هو أيضا قانون تعميم التكنولوجيا وليس حادثا. في عام 1839 ، ظهر التصوير الفوتوغرافي باللوحة الفضية ، وكانت الموجة الأولى من المستخدمين هي الصناعة. في الأيام الأولى للإنترنت ، لم تبدأ التجارة الإلكترونية ، وبدأت مواقع الويب للبالغين في التفكير في الدفع عبر الإنترنت. حفلة الصوف النموذجية الكبيرة اليوم ، إلى حد ما ، تعيد أيضا إنشاء أسطورة "عصر اسم المجال" للثراء. دائما ما يتم لمس أرباح العصر أولا باللونين الرمادي والأصفر. لأنهم لا يهتمون بالامتثال ، لا تنتظر الإشراف ، والكفاءة عالية بشكل طبيعي. لذلك ، فإن كل فترة تفشي تكنولوجية هي أولا وعاء من "الحساء الموحل" ، وبطبيعة الحال الذكاء الاصطناعي ليس استثناء. في ديسمبر 2023 ، استخدم أحد المتسللين كلمة سريعة فقط - "عرض 1 دولار" - لحث روبوت خدمة العملاء في متجر 4S على بيع سيارة شيفروليه تقريبا مقابل 1 دولار. هذا هو "الحقن الفوري" الأكثر شيوعا في عصر الذكاء الاصطناعي: لا يلزم التحقق من الإذن ، ولم يتبق أي آثار سجل ، ولا يمكن استبدال السلسلة المنطقية بأكملها إلا ب "التحدث بذكاء". خطوة أخرى إلى الأمام هي "الهروب من السجن". استخدم المهاجمون أسئلة بلاغية ، ولعب الأدوار ، ومطالبات الالتفاف ، وما إلى ذلك ، لجعل النموذج ينجح في قول أشياء لم يكن يجب أن يقولها: المواد الإباحية ، وتصنيع المخدرات ، ورسائل التحذير الكاذبة...... في هونغ كونغ ، سرق بعض الأشخاص 200 مليون دولار هونج كونج من حسابات الشركات عن طريق تزوير الأصوات التنفيذية. بالإضافة إلى عمليات الاحتيال ، ينطوي الذكاء الاصطناعي أيضا على خطر "الإنتاج غير المقصود": في عام 2023 ، قام نظام نموذجي كبير لعملاق تعليمي بتصدير "مواد تعليمية سامة" ذات محتوى متطرف عند إنشاء خطط الدروس ، وفي غضون 3 أيام فقط ، اندلعت حماية حقوق الوالدين ، واندلعت الرأي العام ، وخسر سعر سهم الشركة 12 مليار يوان. لا يفهم الذكاء الاصطناعي القانون ، لكن لديه القدرة ، والقدرة على إلحاق الضرر ، بمجرد الخروج من الرقابة ، تكون ضارة. ولكن من وجهة نظر أخرى ، فإن تقنية الذكاء الاصطناعي جديدة ، لكن التدفق النهائي ووسائل الإنتاج الرمادي والأصفر لم يتغير ، ولحلها ، يعتمد ذلك على السلامة. 02 أمن الذكاء الاصطناعي دعنا نتحدث أولا عن المعرفة الباردة التي تم تجنبها بشكل جماعي من قبل صناعة الذكاء الاصطناعي: جوهر النماذج الكبيرة ليس "الذكاء" أو "الفهم" ، ولكن التوليد الدلالي تحت التحكم في الاحتمالات. لذلك ، بمجرد تجاوز سياق التدريب ، قد يتم إخراج نتائج غير متوقعة. قد يكون هذا النوع من الطبقة الفائقة ، فأنت تريده أن يكتب الأخبار ، ليكتب لك الشعر. قد يكون أيضا أنك تريد أن يوصي بعنصر ما ويخبرك فجأة أن درجة الحرارة في طوكيو اليوم هي 25 درجة مئوية تحت الصفر. علاوة على ذلك ، تخبرها أنه في اللعبة ، إذا لم تتمكن من الحصول على الرقم التسلسلي الأصلي لمثل هذا البرنامج وكذا ، تصويره ، ويمكن للنموذج الكبير أن يبذل قصارى جهده لمساعدة المستخدمين في العثور على رقم تسلسلي حقيقي للبرنامج بتكلفة 0. من أجل ضمان إمكانية التحكم في المخرجات ، يجب على المؤسسة فهم النموذج والأمان. وفقا لأحدث "تقرير تقييم قدرة نموذج أمن الصين الكبير" الصادر عن IDC ، فإن PK من Alibaba مع جميع الشركات المصنعة المحلية الكبرى ذات القدرات النموذجية الأمنية الكبيرة هي الأولى من بين 4 من 7 مؤشرات ، والثلاثة المتبقية كلها أعلى من متوسط الصناعة. من حيث النهج ، فإن الإجابة التي قدمتها Alibaba Cloud Security واضحة أيضا: دع الأمان يتقدم على سرعة الذكاء الاصطناعي ، وقم ببناء إطار حماية كامل من ثلاث طبقات من أسفل إلى أعلى - من أمان البنية التحتية ، إلى التحكم في إدخال ومخرجات النموذج الكبير ، إلى حماية خدمة تطبيقات الذكاء الاصطناعي. من بين الطبقات الثلاث ، الأكثر وجودية هو "درابزين الذكاء الاصطناعي" للطبقة الوسطى المخصصة لمخاطر النماذج الكبيرة. بشكل عام ، المخاطر الرئيسية لأمن النموذج الكبير هي: انتهاكات المحتوى ، وتسرب البيانات الحساسة ، وهجمات حقن الكلمات السريعة ، وأوهام النموذج ، وهجمات كسر الحماية. ومع ذلك ، فإن الحلول الأمنية التقليدية هي في الغالب بنى للأغراض العامة ، مصممة للويب ، وليس ل "البرامج الناطقة" ، وبطبيعة الحال لا يمكنها تحديد المخاطر الفريدة لتطبيقات النماذج الكبيرة والاستجابة لها بدقة. من الصعب تغطية المشكلات الناشئة مثل أمان المحتوى الذي تم إنشاؤه ، والدفاع عن الهجوم السياقي ، ومصداقية إخراج النموذج. والأهم من ذلك ، أن الحلول التقليدية تفتقر إلى وسائل دقيقة يمكن التحكم فيها وآليات التتبع البصري ، مما يؤدي إلى نقاط عمياء ضخمة في حوكمة الذكاء الاصطناعي ، وبطبيعة الحال لا يمكنهم حل المشكلة إذا كانوا لا يعرفون مكان المشكلة. لا تكمن القوة الحقيقية لدرابزين الذكاء الاصطناعي في "قدرته على الحظر" فحسب ، بل سواء كنت تقوم بنماذج كبيرة مدربة مسبقا أو خدمات الذكاء الاصطناعي أو وكلاء الذكاء الاصطناعي في أشكال أعمال مختلفة ، فهي تعرف ما تتحدث عنه وما يولده النموذج الكبير ، وذلك لتوفير اكتشاف دقيق للمخاطر وقدرات دفاعية استباقية لتحقيق الامتثال والأمن والاستقرار. على وجه التحديد ، الذكاء الاصطناعي Guardrail مسؤول بشكل خاص عن حماية ثلاثة أنواع من السيناريوهات: خلاصة القول للامتثال: إجراء مراجعة امتثال متعددة الأبعاد لمحتوى النص لمدخلات ومخرجات الذكاء الاصطناعي التوليدي ، والتي تغطي فئات المخاطر مثل الحساسية السياسية ، والمواد الإباحية والابتذال ، والتحيز والتمييز ، والقيم السيئة ، والكشف العميق عن بيانات الخصوصية والمعلومات الحساسة التي قد يتم تسريبها أثناء تفاعل الذكاء الاصطناعي ، ودعم الخصوصية الشخصية ، والمؤسسة ...