¿Por qué los grandes modelos no pueden generar 「马嘉祺」？ La exploración de la lista completa de tokens de MiniMax revela que cerca del 5% de los tokens se olvidaron durante el entrenamiento posterior.

Según la monitorización de Beating, MiniMax publicó un blog técnico, revelando el proceso de investigación de la causa raíz por la cual su modelo grande de la serie M2 no puede generar el nombre “马嘉祺”. La investigación comenzó con un caso específico y finalmente reveló un problema de degradación sistémica que afecta a toda la lista de vocabulario.
La causa raíz es que el tokenizador (el componente que divide el texto en unidades que el modelo procesa) fusionó “嘉祺” en un token independiente durante el entrenamiento.
En la fase de preentrenamiento, el modelo vio una gran cantidad de textos de internet y aprendió este token; pero en los datos de diálogo posteriores, había menos de 5 muestras que contenían “嘉祺”.
Durante el entrenamiento posterior, los tokens de alta frecuencia como las marcas de tool_call, símbolos de código, etc., actualizaron continuamente los vectores en su entorno, desplazando tokens de baja frecuencia como “嘉祺” en la dirección equivocada.
El modelo todavía “reconoce” a 马嘉祺 y puede responder con precisión a información relacionada, pero la capacidad de generar ese token se perdió.
Luego, el equipo realizó un escaneo completo de aproximadamente 200,000 tokens en la lista de vocabulario, y encontró que aproximadamente el 4.9% de los tokens habían sufrido una degradación significativa.
La degradación más severa fue en japonés: el 29.7% de los tokens en japonés mostraron una degradación notable, mucho más que el 3.3% en coreano, 3.7% en ruso, 3.9% en chino y 3.5% en inglés.
Entre los tokens con mayor degradación también estaban palabras basura de SEO en internet como “传奇私服” y “无痛人流”, que tienen mecanismos similares a “嘉祺”.
La grave degradación en japonés también resolvió un antiguo misterio. Antes, el modelo ocasionalmente mezclaba caracteres en ruso o coreano en diálogos en japonés, sin poder encontrar la causa.
Este análisis mostró que, tras la deriva de los parámetros de los tokens en japonés, estos se confundieron con los tokens de otros idiomas en el espacio vectorial, lo que provocó tanto la activación incorrecta de tokens en japonés (mezcla de idiomas) como la expulsión de tokens chinos de baja frecuencia de su rango de probabilidad normal (olvido de tokens).
La solución fue construir un conjunto de datos sintéticos que cubriera toda la lista de vocabulario, permitiendo que el modelo entrenara con tareas simples de repetición para que cada token fuera aprendido.
El efecto fue inmediato: la proporción de respuestas en japonés que mezclaban caracteres en ruso bajó del 47% al 1%, y la estabilidad del parámetro de salida en toda la lista de vocabulario (similitud coseno) subió desde un mínimo de 0.329 a valores superiores a 0.97 en todos los casos.