Por que os grandes modelos não conseguem gerar 「马嘉祺」？A varredura na lista completa de tokens do MiniMax revelou que quase 5% dos tokens foram esquecidos durante o treino posterior

De acordo com a monitorização do Beating, a MiniMax publicou um blog técnico, revelando o processo de investigação da causa raiz que impede o grande modelo da série M2 de gerar o nome “马嘉祺”. A investigação começou com um caso específico e, por fim, revelou um problema de degradação sistêmica que afeta toda a lista de vocabulário.

A causa raiz foi o tokenizador (componente que divide o texto em unidades processáveis pelo modelo) que, durante o treino, uniu “嘉祺” em um token independente. Na fase de pré-treinamento, o modelo viu uma grande quantidade de textos da internet e aprendeu esse token; mas nos dados de diálogo posteriores ao treino, havia menos de 5 exemplos contendo “嘉祺”. Durante o pós-treinamento, tokens de alta frequência como marcações tool_call, símbolos de código, etc., continuaram a atualizar o espaço vetorial ao redor, empurrando tokens de baixa frequência como “嘉祺” na direção errada. O modelo ainda “reconhece” 马嘉祺 e consegue responder informações relacionadas com precisão, mas perdeu a capacidade de gerar esse token na saída.

A equipe então realizou uma varredura completa na lista de aproximadamente 200 mil tokens, descobrindo que cerca de 4,9% dos tokens sofreram degradação significativa. A degradação mais severa foi no japonês: 29,7% dos tokens japoneses apresentaram degradação acentuada, muito acima do coreano 3,3%, russo 3,7%, chinês 3,9% e inglês 3,5%. Entre os tokens mais degradados estavam também palavras de SEO da internet como “传奇私服” e “无痛人流”, que possuem mecanismos semelhantes aos de “嘉祺”.

A grave degradação no japonês também resolveu um antigo mistério. Anteriormente, o modelo às vezes misturava caracteres russos ou coreanos em diálogos em japonês, sem uma causa aparente. A análise atual mostrou que, após a deriva dos parâmetros dos tokens japoneses, eles se confundiram com tokens de outras línguas no espaço vetorial, levando tanto à ativação incorreta de tokens japoneses (mistura de idiomas) quanto à exclusão de tokens chineses de baixa frequência do intervalo de probabilidade normal (esquecimento de tokens).

A solução de reparo foi criar um conjunto de dados sintéticos que cobrissem todo o vocabulário, permitindo que o modelo treinasse com tarefas simples de repetição até dominar cada token. O efeito foi imediato: a proporção de respostas em japonês que continham caracteres russos caiu de 47% para 1%, e a estabilidade do output de toda a lista de vocabulário (similaridade cosseno) aumentou de um mínimo de 0,329 para valores superiores a 0,97.