MiniMax @MiniMax_AI يرد على طول المقالة حول "النموذج لا يستطيع قول 马嘉祺"

نشرت حسابات MiniMax الرسمية مقالًا طويلًا يرد على عدم قدرة نموذج سلسلة M2 على قول 马嘉祺، موضحًا عملية التحقيق الكاملة والتفكير التقني حول مشكلة "تمييز 嘉祺". ⬇️
أشار MiniMax إلى أنه قام بالتحقيق من عدة جوانب، بما في ذلك توافق إصدار المحلل، توزيع إحصائيات التضمين، استرجاع الجيران الدلاليين، تجارب المقارنة بين النماذج قبل وبعد التدريب مع قليل من الأمثلة، إحصائيات تكرار البيانات بعد التدريب، وترتيب فحص التغيرات في كامل رأس النموذج lm_head.
وفي النهاية، تم تحديد السبب على أنه: "تم دمج '嘉祺' في المحلل كرمز فريد #token، لكن هذا الرمز ظهر بتكرار منخفض جدًا في بيانات ما بعد التدريب، مما أدى إلى نسيان النموذج تدريجيًا قدرته على توليد هذا الرمز خلال عملية التدريب اللاحقة."