لماذا لا يستطيع النموذج الكبير كتابة «ما جا تشي»؟ اكتشاف أن حوالي 5٪ من الرموز في قائمة الكلمات الكاملة تم نسيانها خلال التدريب اللاحق باستخدام مسح كامل للقائمة.

وفقًا لمراقبة Beating، نشرت MiniMax مدونة تقنية تكشف عن عملية استقصاء السبب الجذري لعدم قدرة النموذج الكبير من سلسلة M2 على إخراج اسم “马嘉祺”. بدأ التحقيق من حالة فردية، وكشف في النهاية عن مشكلة تدهور منهجي يؤثر على كامل قائمة المفردات.

السبب الجذري هو أن أداة تقسيم النص (tokenizer، المكون الذي يقسم النص إلى وحدات معالجة النموذج) قامت خلال التدريب بدمج “嘉祺” كرمز مستقل. خلال مرحلة التدريب المسبق، شاهد النموذج كمية هائلة من النصوص من الإنترنت، وتعلم هذا الرمز؛ لكن في البيانات الحوارية التي تلت ذلك، كانت هناك أقل من 5 عينات تحتوي على “嘉祺”. خلال عملية التدريب اللاحقة، استمرت تحديثات الفضاء المتجه حول الرموز عالية التكرار مثل علامات استدعاء الأدوات، والرموز البرمجية، مما دفع الرموز ذات التكرار المنخفض مثل “嘉祺” إلى الاتجاه الخاطئ. لا يزال النموذج “يعرف” 马嘉祺، ويستطيع الإجابة بدقة على المعلومات ذات الصلة، لكن القدرة على إخراج هذا الرمز مفقودة.

بعد ذلك، قام الفريق بفحص كامل قائمة المفردات التي تحتوي على حوالي 200,000 رمز، ووجد أن حوالي 4.9% من الرموز تعرضت لتدهور ملحوظ. كانت اليابانية الأكثر تدهورًا، حيث تدهور حوالي 29.7% من رموزها بشكل ملحوظ، متجاوزة بكثير الكورية 3.3%، والروسية 3.7%، والصينية 3.9%، والإنجليزية 3.5%. كما تصدرت قائمة التدهور كلمات غير مهمة من نوع SEO مثل “传奇私服” و"无痛人流"، والتي تتشابه في الآلية مع “嘉祺”.

كما فكّك التدهور الشديد في اليابانية لغزًا قديمًا. ففي السابق، كان النموذج يختلط أحيانًا بين حوارات اليابانية وحروف روسية أو كورية، ولم يكن هناك سبب واضح لذلك. أظهرت التحليلات أن بعد انحراف معلمات رموز اليابانية، بدأ رموزها في التداخل مع رموز اللغات الأخرى في الفضاء المتجه، مما أدى إلى تفعيل خاطئ لرموز اليابانية (اختلاط اللغات)، وأيضًا دفع الرموز الصينية ذات التكرار المنخفض إلى خارج النطاق الاحتمالي الطبيعي (نسيان الرموز).

الحل المقترح هو إنشاء مجموعة بيانات تركيبية تغطي كامل قائمة المفردات، وتدريب النموذج على مهمة تكرار بسيطة حتى يتعلم كل رمز بشكل جيد. كانت النتائج فورية: انخفضت نسبة اختلاط الرموز الروسية في إجابات اليابانية من 47% إلى 1%، واستقرار معلمات إخراج كامل قائمة المفردات (التشابه الكوني) من أدنى مستوى 0.329 إلى أعلى من 0.97.