¿Por qué los grandes modelos no pueden generar 「马嘉祺」？ La exploración de la lista completa de tokens de MiniMax revela que cerca del 5% de los tokens se olvidaron durante el entrenamiento posterior.

Según la monitorización de Beating, MiniMax publicó un blog técnico, revelando el proceso de investigación de la causa raíz por la cual su modelo grande de la serie M2 no puede generar el nombre “马嘉祺”. La investigación partió de un caso específico y finalmente reveló un problema de degradación sistémica que afecta a toda la lista de vocabulario.

La causa raíz es que el tokenizador (el componente que divide el texto en unidades que el modelo puede procesar) fusionó “嘉祺” en un token independiente durante el entrenamiento. En la fase de preentrenamiento, el modelo vio una gran cantidad de textos de internet y aprendió este token; pero en los datos de diálogo posteriores, había menos de 5 muestras que contenían “嘉祺”. Durante el entrenamiento posterior, los tokens de alta frecuencia como las marcas tool_call, símbolos de código, etc., actualizaron continuamente los vectores en su entorno, desplazando tokens de baja frecuencia como “嘉祺” en la dirección equivocada. El modelo todavía “reconoce” a 马嘉祺 y puede responder con precisión a información relacionada, pero la capacidad de generar ese token se perdió.

Luego, el equipo realizó un escaneo completo de aproximadamente 200,000 tokens en el vocabulario completo, y encontró que aproximadamente el 4.9% de los tokens habían sufrido una degradación significativa. La degradación más severa fue en japonés: el 29.7% de los tokens en japonés mostraron una degradación notable, mucho más que el coreano con 3.3%, ruso con 3.7%, chino con 3.9% y inglés con 3.5%. Entre los tokens con mayor degradación también estaban palabras basura de SEO en internet como “传奇私服” y “无痛人流”, que tienen mecanismos iguales a “嘉祺”.

La grave degradación en japonés también resolvió un antiguo misterio. Anteriormente, el modelo en diálogos en japonés ocasionalmente mezclaba caracteres en ruso o coreano, sin poder encontrar la causa. Este análisis mostró que, tras la deriva de los parámetros de los tokens en japonés, estos se confundían con los tokens de otros idiomas en el espacio vectorial, lo que provocaba tanto la activación incorrecta de tokens en japonés (mezcla de idiomas) como la expulsión de tokens chinos de baja frecuencia adyacentes del rango de probabilidad normal (olvido de tokens).

La solución de reparación fue construir un conjunto de datos sintéticos que cubriera todo el vocabulario, permitiendo que el modelo practicara con tareas de repetición simple hasta dominar cada token. Los resultados fueron inmediatos: la proporción de caracteres en ruso mezclados en respuestas en japonés cayó del 47% al 1%, y la estabilidad de los parámetros de salida en todo el vocabulario (similitud coseno) pasó de un mínimo de 0.329 a valores superiores a 0.97 en todos los casos.