لماذا لا يستطيع النموذج الكبير كتابة «ما جا تشي»؟ اكتشف مسح كامل قائمة الرموز أن حوالي 5٪ من الرموز تم نسيانها خلال التدريب اللاحق

وفقًا لمراقبة Beating، نشرت MiniMax مدونة تقنية تكشف عن عملية استقصاء سبب عدم قدرة النموذج الكبير من سلسلة M2 على إخراج اسم الشخص “马嘉祺”. بدأ التحقيق من حالة فردية، وكشف في النهاية عن مشكلة تدهور منهجي يؤثر على كامل قائمة المفردات. السبب الجذري هو أن المُجزئ (tokenizer، المكون الذي يقسم النص إلى وحدات معالجة النموذج) قام خلال التدريب بدمج “嘉祺” كرمز مستقل. في مرحلة التدريب المسبق، شاهد النموذج كمية كبيرة من النصوص على الإنترنت، وتعلم هذا الرمز؛ لكن في بيانات الحوار بعد التدريب، كانت هناك أقل من 5 عينات تحتوي على “嘉祺”. خلال عملية التدريب اللاحقة، استمرت تحديثات فضاء المتجهات حول الرموز عالية التكرار مثل علامات استدعاء الأدوات والرموز البرمجية، مما دفع الرموز منخفضة التكرار مثل “嘉祺” إلى الاتجاه الخاطئ. لا يزال النموذج “يعرف” 马嘉祺، ويستطيع الإجابة بدقة على المعلومات ذات الصلة، لكن القدرة على إخراج هذا الرمز مفقودة. ثم قام الفريق بفحص كامل قائمة المفردات التي تحتوي على حوالي 200,000 رمز، ووجد أن حوالي 4.9% من الرموز تعرضت لتدهور ملحوظ. وكان التدهور الأكثر حدة في اللغة اليابانية، حيث تدهور 29.7% من الرموز اليابانية بشكل ملحوظ، متجاوزًا بكثير الكورية 3.3%، والروسية 3.7%، والصينية 3.9%، والإنجليزية 3.5%. كما تصدرت كلمات “传奇私服” و"无痛人流" وغيرها من كلمات تحسين محركات البحث غير المفيدة على الإنترنت قائمة التدهور، وتتشابه آلية تدهورها مع “嘉祺”. كما فكّ تدهور اللغة اليابانية الشديد لغزًا قديمًا، حيث كان النموذج سابقًا يختلط أحيانًا بين الأحرف الروسية أو الكورية في محادثات باللغة اليابانية، ولم يكن هناك سبب واضح لذلك. أظهرت التحليلات أن بعد انحراف معلمات رموز اللغة اليابانية، بدأ رموزها في التداخل مع رموز اللغات الأخرى في فضاء المتجهات، مما أدى إلى تنشيط رموز اللغة اليابانية بشكل خاطئ (اختلاط اللغات)، وأيضًا دفع الرموز الصينية منخفضة التكرار المجاورة خارج نطاق الاحتمالية الطبيعي (نسيان الرموز). الحل هو إنشاء مجموعة بيانات تركيبية تغطي كامل قائمة المفردات، وتدريب النموذج على مهمة تكرار بسيطة حتى يتعلم كل رمز بشكل جيد. كانت النتائج فورية: انخفضت نسبة اختلاط الأحرف الروسية في إجابات اللغة اليابانية من 47% إلى 1%، واستقرار معلمات إخراج كامل قائمة المفردات (التشابه الكوني) من أدنى مستوى 0.329 إلى أعلى من 0.97.