ULMFiT: الورقة البحثية التي جعلت طريقة التخصيص الدقيقة لنماذج اللغة الكبيرة (LLM) ممكنة في عام 2018

ULMFiT وكيف تتصل بالأساليب الحالية لـ LLM

ماذا حدث بالضبط

تحدث المؤسس المشارك لـ fast.ai جيريمي هوارد عن علاقة ULMFiT (نموذج اللغة الشامل للتخصيص) بالنماذج اللغوية الكبيرة اليوم. قال بصراحة: ULMFiT هو في الأساس فكرة مسبقة التدريب المقتبسة من الرؤية، حيث تم القيام بأول نموذج لغة ذاتية الإشراف على نصوص عامة، ثم استخدام “التخصيص ذو الخطوتين” لتكييفه مع مهام NLP المحددة - النماذج اللغوية الكبيرة السائدة اليوم تعمل أساسًا بنفس الطريقة.

تتمثل قيمة هذه الورقة البحثية من عام 2018 في أنه يمكن القيام بتعلم نقل NLP بشكل جيد باستخدام كمية قليلة من البيانات المعنونة، بالإضافة إلى تحديث سجل تصنيف النصوص في ذلك الوقت.

لماذا تستحق هذه الفترة التاريخية الفهم

• يشعر هوارد بالثقة في قوله: لأنه أحد مؤلفي الورقة، ومن خلال دورات fast.ai المجانية والأدوات مفتوحة المصدر، قام بتعليم تعلم العمق لسنوات عديدة.
• في ذلك الوقت، كان هناك بالفعل مساهمات تقنية أصلية:
  • فك التجمد التدريجي (إطلاق التدريب طبقة تلو الأخرى)
  • تخصيص الفرق (استخدام معدلات تعلم مختلفة لطبقات مختلفة)
  • معدل التعلم المائل (استراتيجية الجدولة التي تزداد ثم تنخفض) هذه التقنيات سمحت للممارسين بنقل النماذج المدربة مسبقًا إلى مهام جديدة بشكل أكثر استقرارًا، وهو ما لم يكن ممكنًا بالأساليب السابقة.

مقارنة مع الطرق المعاصرة

• word2vec: ينتج فقط متجهات كلمات ثابتة، ولا يمكن تخصيصها بشكل نهائي.
• ELMo: متجهات الكلمات يمكن أن تدرك السياق، لكنها تبقى ثابتة عند الاستخدام، ولا يتم تحديث النموذج بأكمله.
• ULMFiT: يتم أولاً إجراء تدريب مسبق كبير بدون إشراف، ثم يتم تخصيص النموذج بأكمله.

الجدول أدناه يلخص الفروق بين الثلاثة من حيث التمثيل، والتدريب، واستراتيجيات التكيف:

النقاط الأساسية

• ULMFiT أثبت أن “التدريب المسبق الذاتي الشامل + تخصيص مستوى المهمة” يعمل في NLP.
• BERT و GPT تسيران على نفس الطريق، فقط تم التبديل إلى Transformer ثم تم تكبيره.

كيف نرى التأثير

• الأهمية: متوسطة (وضعت أسس منهجية وممارسات هندسية لللاحقين، لكن التأثير الحقيقي على نطاق واسع جاء من نظام BERT/GPT)
• الفئة: رؤى تقنية / أبحاث AI / اتجاهات صناعية

نقاط يجب تذكرها

• الإلهام للعمل الفعلي:
  1. قم أولاً بإجراء تدريب مسبق ذاتي الإشراف على مجموعات بيانات كبيرة، لتمكين النموذج من تعلم القدرات اللغوية العامة؛
  2. عند التخصيص، استخدم تقنيات مثل معدلات التعلم الطبقية وفك التجمد التدريجي للتدريب بشكل أكثر استقرارًا؛
  3. عندما تكون البيانات المعنونة قليلة، يمكن أن يزيد تعلم النقل بشكل كبير من كفاءة العينات وقدرة التعميم.
• التمديد إلى الأبحاث:
  • كيفية تصميم مهام التدريب المسبق، وكيفية استقرار التخصيص، هذه التفاصيل غالبًا ما تحدد فعالية النقل؛
  • هذه المنهجية ليست مرتبطة بالهيكل، بل تنطبق من RNN إلى Transformer.

الأهمية: متوسطة

الفئة: رؤى تقنية، أبحاث AI، اتجاهات صناعية

الملخص: بالنسبة لرواية LLM الحالية، دخولك ليس مبكرًا، لكن فهم تفاصيل تخصيص ULMFiT لا يزال مفيدًا لبناء وتحسين الأنظمة؛ المستفيدون الحقيقيون هم البناؤون الذين يقومون بالهندسة والأبحاث والفرق التي تستثمر على المدى الطويل، بينما لا تتعلق الأمور بالمتداولين على المدى القصير.