Pourquoi le grand modèle ne peut-il pas générer « Ma Jiaqi » ? La recherche dans le vocabulaire complet de MiniMax a révélé qu'environ 5 % des tokens ont été oubliés lors de la formation ultérieure.

Selon le monitoring de Beating, MiniMax a publié un blog technique révélant le processus d’investigation derrière l’incapacité de leur modèle M2 de la série à produire le nom « 马嘉祺 » (Ma Jiaqi). L’enquête a débuté par un cas particulier, pour finalement révéler un problème systémique de dégradation affectant tout le vocabulaire.

La cause principale est que le tokenizer (le composant qui divise le texte en unités traitables par le modèle) a fusionné « 嘉祺 » en un token indépendant lors de l’entraînement. Lors de la phase de pré-entraînement, le modèle a vu une grande quantité de textes issus d’Internet, et a appris ce token ; mais dans les données de dialogue postérieures, moins de 5 exemples contenaient « 嘉祺 ». Au cours de cet entraînement supplémentaire, les vecteurs autour des tokens fréquemment mis à jour, comme tool_call ou les symboles de code, ont déformé l’espace vectoriel, repoussant des tokens peu fréquents comme « 嘉祺 » dans une mauvaise direction. Le modèle « connaît » toujours Ma Jiaqi et peut répondre précisément à des questions à son sujet, mais il a perdu la capacité de produire ce token en sortie.

L’équipe a ensuite effectué une analyse complète de l’ensemble du vocabulaire, comprenant environ 200 000 tokens, et a constaté que environ 4,9 % de ces tokens avaient subi une dégradation significative. La dégradation la plus grave concerne le japonais : 29,7 % des tokens japonais ont été fortement dégradés, bien au-delà des 3,3 % en coréen, 3,7 % en russe, 3,9 % en chinois et 3,5 % en anglais. Parmi les tokens les plus dégradés figurent aussi des mots-clés SEO comme « 传奇私服 » (serveur privé légendaire) ou « 无痛人流 » (avortement sans douleur), qui ont le même mécanisme de dégradation que « 嘉祺 ».

La gravité de la dégradation en japonais a également permis de résoudre une vieille énigme. Jusqu’ici, le modèle insérait occasionnellement des caractères russes ou coréens dans des dialogues en japonais, sans en connaître la cause. L’analyse montre que, suite à la dérive des paramètres des tokens japonais, ceux-ci se sont confondus avec ceux d’autres langues dans l’espace vectoriel, ce qui a entraîné à la fois une activation erronée des tokens japonais (mélange linguistique) et l’expulsion de tokens chinois peu fréquents hors de leur plage de probabilité normale (oubli de tokens).

La solution consiste à créer un jeu de données synthétiques couvrant tout le vocabulaire, permettant au modèle de s’entraîner à répéter chaque token de manière simple. Les résultats ont été immédiats : la proportion de caractères russes insérés dans les réponses en japonais est passée de 47 % à 1 %, et la stabilité des paramètres de sortie sur l’ensemble du vocabulaire (similarité cosinus) est passée de 0,329 au minimum à plus de 0,97 pour tous.