عند تدريب Muon، تكون الثقة دقيقة جدًا، ولكن عند الانتقال إلى عينات جديدة يصبح من السهل الإفراط في التقدير

robot
إنشاء الملخص قيد التقدم

موقع شبكة العملات المشفرة، أظهر محسن Muon ثقة عالية أثناء التدريب، لكنه يميل إلى الإفراط في الثقة عند التعامل مع عينات جديدة. أشارت الورقة البحثية الأخيرة «مبالغ في الحدة، واثق جدًا: عندما يتبع المعايرة المنحنى» إلى أن النموذج يمكنه تحديد مدى ثقته بنفسه بدقة على مجموعة التدريب، ولكن على مجموعة الاختبار، لا تتطابق الثقة مع معدل التصحيح الفعلي، مما يؤدي إلى الإفراط في الثقة. أظهرت التجارب أن ECE الاختباري لـ Muon في مهمة تصنيف صور CIFAR-10 هو 0.065، وAdamW هو 0.061، وSGD هو 0.081، وSAM هو 0.020. تقريبًا، كانت ECE التدريبية لـ Muon تقترب من الصفر، مما يوضح أن الفجوة بين مجموعة التدريب ومجموعة الاختبار أكثر وضوحًا. اقترحت الورقة طريقة Calmo التي يمكن أن تخفض ECE الاختباري لـ Muon إلى 0.019، لكنها لم تُختبر بعد على نماذج اللغة الكبيرة. أظهر تقرير تقنية DeepSeek V4 أن بعض الوحدات لا تزال تستخدم AdamW، مما يذكر بضرورة مراقبة أداء Muon عند التعميم.

شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
لا توجد تعليقات
  • تثبيت