صعود الذكاء الاصطناعي مذهل. من الخوارزميات الأساسية إلى نماذج تعلم اللغة (LLMs) مثل ChatGPT و Copilot ، الذكاء الاصطناعي في طليعة التطور التكنولوجي. تصبح مخاوف خصوصية البيانات مهمة بشكل خاص حيث تتفاعل هذه النماذج مع المستخدمين وتعالج كميات كبيرة من البيانات والمطالبات. من بينها ، قامت الشركات الكبيرة مثل Amazon و Apple بتقييد وصول الموظفين إلى واجهات برمجة التطبيقات العامة مثل ChatGPT لمنع خروقات البيانات التي قد تكون ناجمة عن تفاعلات الذكاء الاصطناعي. بالإضافة إلى ذلك ، من المعقول توقع إدخال اللوائح قريبا لفرض مستوى معين من خصوصية المستخدم.
كيف نضمن أن البيانات التي نتفاعل معها ونطرح الأسئلة ونشاركها مع هذه النماذج تظل خاصة؟
-التشفير المتجانس الكامل (FHE)
مقدمة موجزة
في مجال التشفير ، يعد التشفير المتجانس بالكامل مفهوما أساسيا. يكمن سحرها في قدرتها الفريدة: فهي تسمح بحساب البيانات المشفرة مباشرة دون فك تشفير البيانات أولا ، مما يتيح التفكير الخاص للمعلومات الحساسة.
باستخدام هذه الميزة ، يتم ضمان شيئين مهمين: تظل البيانات آمنة أثناء المعالجة ، والحماية الكاملة للملكية الفكرية (IP) للنموذج.
** منطق الخصوصية وحماية الملكية الفكرية **
في الوقت الحاضر ، يبدو أن "الخصوصية" و "تجربة المستخدم" هي العلاقة بين مخلب السمك والدب ، ولا يمكن الجمع بين الاثنين. غالبا ما يثق الأشخاص في أطراف ثالثة لمعالجة معلوماتهم للحصول على تجربة مستخدم أفضل. نعتقد أن هذه الشركات التابعة لجهات خارجية يمكنها إيجاد توازن بين خصوصية المستخدم وخدمة المستخدم عالية الجودة دون الحاجة إلى الاختيار بين حل محلي أكثر تعزيزا للخصوصية يفتقر إلى الوظائف أو خدمة تضحي بالخصوصية من أجل وظائف غنية.
يتيح التشفير المتماثل بالكامل استنتاج الخصوصية مع الحماية الكاملة للملكية الفكرية للنموذج. من خلال إجراء العمليات الحسابية على البيانات المشفرة ، فإنه يضمن السرية التامة للمطالبات مع حماية الملكية الفكرية لنماذج اللغات الكبيرة.
** طريقة التشفير التقليدية مقابل FHE **
في أنظمة التشفير التقليدية ، إذا كنت ترغب في إجراء عمليات ذات مغزى على البيانات في شكل مشفر ، فأنت بحاجة أولا إلى فك تشفيرها. لكن فك التشفير يكشف النص العادي للبيانات ، مما يعني أن البيانات تصبح عرضة للهجوم ، حتى لجزء من الثانية.
في المقابل ، يمكن أن يعمل التشفير المتجانس بالكامل مباشرة على النص المشفر ، مما يضمن أن المعلومات الحساسة "غير مرئية" طوال العملية.
** لماذا FHE مهم **
لا تقتصر أهمية التشفير المتماثل بالكامل على النظرية. تخيل خدمة الحوسبة السحابية حيث يمكن إجراء معالجة البيانات دون فك تشفير البيانات ، أو يمكن تحليل قواعد البيانات الطبية دون الحصول على تفاصيل حساسة للمريض. التطبيقات المحتملة للتشفير المتماثل بالكامل واسعة ومتنوعة ، بما في ذلك أنظمة التصويت الآمنة وعمليات البحث الخاصة في قواعد البيانات المشفرة.
** الأسس الرياضية ل FHE **
يعتمد التشفير المتماثل بالكامل على مشكلة التعلم المتسامح مع الأخطاء (LWE) ، وهي تقنية تشفير شبكية مقاومة للكم. في LWE ، يتم استخدام الضوضاء العشوائية لجعل البيانات غير قابلة للقراءة ما لم يكن المفتاح في حوزته. العمليات الحسابية على البيانات المشفرة ممكنة ، ولكن هذا عادة ما يزيد من مستوى الضوضاء. إذا تم إجراء عدد كبير جدا من العمليات على التوالي ، فلا يمكن قراءة البيانات من قبل أي شخص ، بما في ذلك أولئك الذين يحملون المفاتيح. وهذا ما يسمى التشفير المتجانس الجزئي (SHE).
يتطلب تحويل التشفير المتجانس الجزئي إلى تشفير متماثل بالكامل عملية تقلل من مستويات الضوضاء. تعرف هذه العملية باسم bootstrapping ، وتستخدمها العديد من أنظمة التشفير المتجانسة بالكامل. في هذه المقالة ، سنركز على مخطط التشفير المتجانس بالكامل على torus (Torus FHE) ، والذي يستخدم البنية الجبرية للتورويدات الرياضية لتحقيق تشفير متماثل بالكامل.
** مزايا TFHE **
على الرغم من أن كل نظام تشفير متماثل بالكامل له مزاياه وعيوبه ، إلا أن TFHE لديه حاليا تنفيذ أكثر كفاءة في السيناريوهات العملية. ميزة أخرى مهمة ل TFHE هي التمهيد القابل للبرمجة (PBS) ، والذي يوسع عمليات التمهيد المعتادة لتشمل حساب الوظائف أحادية المتغير ، مثل وظائف التنشيط ، والتي تعتبر حاسمة في مجال التعلم الآلي.
أحد عيوب TFHE هو أن كل عملية حسابية في الحساب تتطلب عملية PBS ، بينما تسمح المخططات الأخرى بإجراء بعض العمليات على دفعات بين عمليات التمهيد.
الافتراضات والتقديرات التقريبية****
لتقدير الوقت اللازم للاستدلال على نموذج اللغة الكبيرة (LLM) باستخدام التشفير المتجانس بالكامل ، نضع بعض الافتراضات لتقييم:
عدد العمليات الحسابية المطلوبة لكل رمز مميز هو حوالي 1-2 أضعاف عدد المعلمات في النموذج. هذا حد أدنى ، نظرا لأن كل رمز مميز يستخدم النموذج بأكمله ، وسنفترض أن هذا الحد الأدنى قريب بما يكفي من الطلب الفعلي.
يمكن تعيين كل عملية حسابية في نموذج لغة كبيرة إلى عملية حسابية في TFHE. هذا هو في الأساس مؤشر على حجم نوع المتغير في كلا السيناريوهين. نفترض أن متغيرات INT4 كافية لنماذج اللغة الكبيرة وممكنة ل TFHE.
يجب تعيين كل عملية حسابية في نموذج لغة كبيرة إلى عملية حسابية في تشفير متماثل بالكامل. هذا يعني أنه لا يمكننا تشغيل جزء من النموذج بدون تشفير. تعتبر مشاركة مدونة حديثة من قبل Zama استدلال FHE الذي لا يستخدم هذا الافتراض ، حيث يتم تنفيذ معظم النموذج محليا من قبل المستخدم دون أي تشفير ، ويتم تشغيل جزء صغير فقط (مثل رأس انتباه واحد) بتشفير متماثل بالكامل على خادم شركة النموذج. في رأينا ، لا يحمي هذا النهج في الواقع الملكية الفكرية للنموذج ، لأنه في هذه الحالة ، يمكن للمستخدم تشغيل الرأس المفقود فقط مع فقدان طفيف للدقة ، كما هو موضح هنا ، أو تدريب الجزء المفقود بتكلفة زهيدة نسبيا للحصول على نتائج مماثلة للنموذج الأصلي.
تتطلب كل عملية حسابية في TFHE PBS (تمهيد قابل للبرمجة). PBS هو عنق الزجاجة الرئيسي في حوسبة TFHE.
تطبيق TFHE الأكثر تقدما هو FPT. هذا تطبيق FPGA يحسب PBS كل 35 ميكروثانية.
تحديات LLM و FHE ****
مع التقدم في أحدث التقنيات ، يمكن لأفضل تطبيقات التشفير المتجانسة بالكامل المتاحة اليوم إجراء عملية حسابية في 35 ميكروثانية فقط. ومع ذلك ، عند النظر في نموذج معقد مثل GPT2 ، يلزم إجراء 1.5 مليار عملية مذهلة لرمز واحد. هذا يعني أن وقت المعالجة لكل رمز مميز يبلغ حوالي 52,000 ثانية.
لفهم أفضل ، بالنسبة لنماذج اللغة ، يمكن أن يمثل الرمز المميز شيئا مثل حرف أو كلمة كاملة. تخيل التفاعل مع نموذج لغة حيث يستغرق وقت الاستجابة أسبوعا أو أسبوعين! هذا غير مقبول ، ومن الواضح أن مثل هذا التأخير غير ممكن لأي تطبيق عملي للاتصالات أو النماذج في الوقت الفعلي.
هذا يدل على أنه في ظل تقنية التشفير المتجانسة الحالية بالكامل ، لا يزال الاستدلال في الوقت الفعلي يمثل تحديا كبيرا لنماذج اللغة واسعة النطاق. على الرغم من أهمية التشفير المتجانس بالكامل في حماية البيانات ، إلا أن قيود أدائه يمكن أن تجعل من الصعب تطبيقه في سيناريوهات العالم الحقيقي في المهام كثيفة الحوسبة. قد تتطلب الحاجة إلى التفاعل في الوقت الفعلي والاستجابة السريعة استكشاف حلول أخرى للحوسبة الآمنة والحفاظ على الخصوصية.
الحلول المحتملة****
من أجل تطبيق التشفير المتجانس بالكامل على نماذج اللغة الكبيرة ، فيما يلي خارطة طريق محتملة:
المعالجة المتوازية باستخدام آلات متعددة:
بدءا من 52000 ثانية / رمز مميز.
من خلال نشر 10000 جهاز متوازي ، قمنا بتقليل الوقت إلى 5 ثوان / رمز مميز. لاحظ أن نماذج اللغات الكبيرة يمكن بالفعل أن تكون متوازية للغاية ، وعادة ما يتم إجراء الاستدلال الحالي بالتوازي على الآلاف أو أكثر من نوى GPU.
2 الانتقال إلى الأجهزة المتقدمة:
من المحسن - بدءا من 5 ثوان / رمز مميز
التبديل إلى GPU أو ASIC ، يمكننا تحقيق وقت معالجة يبلغ 0.1 ثانية لكل رمز مميز. بينما يمكن أن توفر وحدات معالجة الرسومات مكاسب فورية في السرعة ، يمكن أن تقدم ASICs مكاسب أعلى في كل من السرعة واستهلاك الطاقة ، مثل ZPU المذكورة سابقا في المدونة.
كما هو موضح في الشكل ، باستخدام تقنية تسريع البيانات الحالية ، يمكن تحقيق الاستدلال الخاص لنماذج اللغات الكبيرة من خلال التشفير المتجانس بالكامل. يمكن دعم ذلك من خلال استثمار أولي واسع النطاق ولكنه قابل للتطبيق في مركز بيانات كبير بما يكفي. ومع ذلك ، لا يزال هذا الاحتمال ضئيلا ، وبالنسبة للنماذج الأكبر حجما ذات اللغات الكبيرة مثل Copilot (12 مليار معلمة) أو GPT3 (175 مليار معلمة) ، لا تزال هناك فجوات يجب سدها.
بالنسبة إلى Copilot ، يكون معدل نقل الرمز المميز الأصغر كافيا لأنه يولد إخراج التعليمات البرمجية ، والذي عادة ما يكون أكثر إيجازا من اللغة البشرية. إذا قمنا بتقليل متطلبات الإنتاجية بعامل 8 ، يمكن لمساعد الطيار أيضا تحقيق هدف الجدوى.
يمكن سد الفجوة الأخيرة من خلال الجمع بين التوازي الأكبر والتطبيقات الأفضل والخوارزميات الأكثر كفاءة التي توجه التشفير المتجانس بالكامل. في Ingonyama ، نعتقد أن الخوارزميات جزء مهم من سد هذه الفجوة ، ويركز فريقنا حاليا على البحث والتطوير للخوارزميات ذات الصلة.
ملخص****
يمكن أن يؤدي الجمع بين أمان التشفير المتماثل بالكامل وقوة الحوسبة لنماذج اللغات الكبيرة إلى إعادة تعريف التفاعلات الذكاء الاصطناعي ، مما يضمن الكفاءة والخصوصية. في حين أن هناك بعض التحديات ، من خلال البحث المستمر والابتكار ، يمكننا تحقيق مستقبل تكون فيه التفاعلات مع نماذج الذكاء الاصطناعي مثل ChatGPT فورية وخاصة. سيوفر ذلك للمستخدمين تجربة أكثر كفاءة وأمانا ويدفع اعتماد التكنولوجيا الذكاء الاصطناعي على نطاق واسع في مختلف المجالات
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
استخدم متجانسا بالكامل (FHE) لحل مخاوف الخصوصية الخاصة ب LLM
المصدر: مختبرات أنتألفا
دليل
صعود الذكاء الاصطناعي مذهل. من الخوارزميات الأساسية إلى نماذج تعلم اللغة (LLMs) مثل ChatGPT و Copilot ، الذكاء الاصطناعي في طليعة التطور التكنولوجي. تصبح مخاوف خصوصية البيانات مهمة بشكل خاص حيث تتفاعل هذه النماذج مع المستخدمين وتعالج كميات كبيرة من البيانات والمطالبات. من بينها ، قامت الشركات الكبيرة مثل Amazon و Apple بتقييد وصول الموظفين إلى واجهات برمجة التطبيقات العامة مثل ChatGPT لمنع خروقات البيانات التي قد تكون ناجمة عن تفاعلات الذكاء الاصطناعي. بالإضافة إلى ذلك ، من المعقول توقع إدخال اللوائح قريبا لفرض مستوى معين من خصوصية المستخدم.
كيف نضمن أن البيانات التي نتفاعل معها ونطرح الأسئلة ونشاركها مع هذه النماذج تظل خاصة؟
-التشفير المتجانس الكامل (FHE)
مقدمة موجزة
في مجال التشفير ، يعد التشفير المتجانس بالكامل مفهوما أساسيا. يكمن سحرها في قدرتها الفريدة: فهي تسمح بحساب البيانات المشفرة مباشرة دون فك تشفير البيانات أولا ، مما يتيح التفكير الخاص للمعلومات الحساسة.
باستخدام هذه الميزة ، يتم ضمان شيئين مهمين: تظل البيانات آمنة أثناء المعالجة ، والحماية الكاملة للملكية الفكرية (IP) للنموذج.
** منطق الخصوصية وحماية الملكية الفكرية **
في الوقت الحاضر ، يبدو أن "الخصوصية" و "تجربة المستخدم" هي العلاقة بين مخلب السمك والدب ، ولا يمكن الجمع بين الاثنين. غالبا ما يثق الأشخاص في أطراف ثالثة لمعالجة معلوماتهم للحصول على تجربة مستخدم أفضل. نعتقد أن هذه الشركات التابعة لجهات خارجية يمكنها إيجاد توازن بين خصوصية المستخدم وخدمة المستخدم عالية الجودة دون الحاجة إلى الاختيار بين حل محلي أكثر تعزيزا للخصوصية يفتقر إلى الوظائف أو خدمة تضحي بالخصوصية من أجل وظائف غنية.
يتيح التشفير المتماثل بالكامل استنتاج الخصوصية مع الحماية الكاملة للملكية الفكرية للنموذج. من خلال إجراء العمليات الحسابية على البيانات المشفرة ، فإنه يضمن السرية التامة للمطالبات مع حماية الملكية الفكرية لنماذج اللغات الكبيرة.
** طريقة التشفير التقليدية مقابل FHE **
في أنظمة التشفير التقليدية ، إذا كنت ترغب في إجراء عمليات ذات مغزى على البيانات في شكل مشفر ، فأنت بحاجة أولا إلى فك تشفيرها. لكن فك التشفير يكشف النص العادي للبيانات ، مما يعني أن البيانات تصبح عرضة للهجوم ، حتى لجزء من الثانية.
في المقابل ، يمكن أن يعمل التشفير المتجانس بالكامل مباشرة على النص المشفر ، مما يضمن أن المعلومات الحساسة "غير مرئية" طوال العملية.
** لماذا FHE مهم **
لا تقتصر أهمية التشفير المتماثل بالكامل على النظرية. تخيل خدمة الحوسبة السحابية حيث يمكن إجراء معالجة البيانات دون فك تشفير البيانات ، أو يمكن تحليل قواعد البيانات الطبية دون الحصول على تفاصيل حساسة للمريض. التطبيقات المحتملة للتشفير المتماثل بالكامل واسعة ومتنوعة ، بما في ذلك أنظمة التصويت الآمنة وعمليات البحث الخاصة في قواعد البيانات المشفرة.
** الأسس الرياضية ل FHE **
يعتمد التشفير المتماثل بالكامل على مشكلة التعلم المتسامح مع الأخطاء (LWE) ، وهي تقنية تشفير شبكية مقاومة للكم. في LWE ، يتم استخدام الضوضاء العشوائية لجعل البيانات غير قابلة للقراءة ما لم يكن المفتاح في حوزته. العمليات الحسابية على البيانات المشفرة ممكنة ، ولكن هذا عادة ما يزيد من مستوى الضوضاء. إذا تم إجراء عدد كبير جدا من العمليات على التوالي ، فلا يمكن قراءة البيانات من قبل أي شخص ، بما في ذلك أولئك الذين يحملون المفاتيح. وهذا ما يسمى التشفير المتجانس الجزئي (SHE).
يتطلب تحويل التشفير المتجانس الجزئي إلى تشفير متماثل بالكامل عملية تقلل من مستويات الضوضاء. تعرف هذه العملية باسم bootstrapping ، وتستخدمها العديد من أنظمة التشفير المتجانسة بالكامل. في هذه المقالة ، سنركز على مخطط التشفير المتجانس بالكامل على torus (Torus FHE) ، والذي يستخدم البنية الجبرية للتورويدات الرياضية لتحقيق تشفير متماثل بالكامل.
** مزايا TFHE **
على الرغم من أن كل نظام تشفير متماثل بالكامل له مزاياه وعيوبه ، إلا أن TFHE لديه حاليا تنفيذ أكثر كفاءة في السيناريوهات العملية. ميزة أخرى مهمة ل TFHE هي التمهيد القابل للبرمجة (PBS) ، والذي يوسع عمليات التمهيد المعتادة لتشمل حساب الوظائف أحادية المتغير ، مثل وظائف التنشيط ، والتي تعتبر حاسمة في مجال التعلم الآلي.
أحد عيوب TFHE هو أن كل عملية حسابية في الحساب تتطلب عملية PBS ، بينما تسمح المخططات الأخرى بإجراء بعض العمليات على دفعات بين عمليات التمهيد.
الافتراضات والتقديرات التقريبية****
لتقدير الوقت اللازم للاستدلال على نموذج اللغة الكبيرة (LLM) باستخدام التشفير المتجانس بالكامل ، نضع بعض الافتراضات لتقييم:
تحديات LLM و FHE ****
مع التقدم في أحدث التقنيات ، يمكن لأفضل تطبيقات التشفير المتجانسة بالكامل المتاحة اليوم إجراء عملية حسابية في 35 ميكروثانية فقط. ومع ذلك ، عند النظر في نموذج معقد مثل GPT2 ، يلزم إجراء 1.5 مليار عملية مذهلة لرمز واحد. هذا يعني أن وقت المعالجة لكل رمز مميز يبلغ حوالي 52,000 ثانية.
لفهم أفضل ، بالنسبة لنماذج اللغة ، يمكن أن يمثل الرمز المميز شيئا مثل حرف أو كلمة كاملة. تخيل التفاعل مع نموذج لغة حيث يستغرق وقت الاستجابة أسبوعا أو أسبوعين! هذا غير مقبول ، ومن الواضح أن مثل هذا التأخير غير ممكن لأي تطبيق عملي للاتصالات أو النماذج في الوقت الفعلي.
هذا يدل على أنه في ظل تقنية التشفير المتجانسة الحالية بالكامل ، لا يزال الاستدلال في الوقت الفعلي يمثل تحديا كبيرا لنماذج اللغة واسعة النطاق. على الرغم من أهمية التشفير المتجانس بالكامل في حماية البيانات ، إلا أن قيود أدائه يمكن أن تجعل من الصعب تطبيقه في سيناريوهات العالم الحقيقي في المهام كثيفة الحوسبة. قد تتطلب الحاجة إلى التفاعل في الوقت الفعلي والاستجابة السريعة استكشاف حلول أخرى للحوسبة الآمنة والحفاظ على الخصوصية.
الحلول المحتملة****
من أجل تطبيق التشفير المتجانس بالكامل على نماذج اللغة الكبيرة ، فيما يلي خارطة طريق محتملة:
2 الانتقال إلى الأجهزة المتقدمة:
كما هو موضح في الشكل ، باستخدام تقنية تسريع البيانات الحالية ، يمكن تحقيق الاستدلال الخاص لنماذج اللغات الكبيرة من خلال التشفير المتجانس بالكامل. يمكن دعم ذلك من خلال استثمار أولي واسع النطاق ولكنه قابل للتطبيق في مركز بيانات كبير بما يكفي. ومع ذلك ، لا يزال هذا الاحتمال ضئيلا ، وبالنسبة للنماذج الأكبر حجما ذات اللغات الكبيرة مثل Copilot (12 مليار معلمة) أو GPT3 (175 مليار معلمة) ، لا تزال هناك فجوات يجب سدها.
بالنسبة إلى Copilot ، يكون معدل نقل الرمز المميز الأصغر كافيا لأنه يولد إخراج التعليمات البرمجية ، والذي عادة ما يكون أكثر إيجازا من اللغة البشرية. إذا قمنا بتقليل متطلبات الإنتاجية بعامل 8 ، يمكن لمساعد الطيار أيضا تحقيق هدف الجدوى.
يمكن سد الفجوة الأخيرة من خلال الجمع بين التوازي الأكبر والتطبيقات الأفضل والخوارزميات الأكثر كفاءة التي توجه التشفير المتجانس بالكامل. في Ingonyama ، نعتقد أن الخوارزميات جزء مهم من سد هذه الفجوة ، ويركز فريقنا حاليا على البحث والتطوير للخوارزميات ذات الصلة.
ملخص****
يمكن أن يؤدي الجمع بين أمان التشفير المتماثل بالكامل وقوة الحوسبة لنماذج اللغات الكبيرة إلى إعادة تعريف التفاعلات الذكاء الاصطناعي ، مما يضمن الكفاءة والخصوصية. في حين أن هناك بعض التحديات ، من خلال البحث المستمر والابتكار ، يمكننا تحقيق مستقبل تكون فيه التفاعلات مع نماذج الذكاء الاصطناعي مثل ChatGPT فورية وخاصة. سيوفر ذلك للمستخدمين تجربة أكثر كفاءة وأمانا ويدفع اعتماد التكنولوجيا الذكاء الاصطناعي على نطاق واسع في مختلف المجالات