MiniMax @MiniMax_AI publica un artículo largo en respuesta a “el modelo no puede decir Ma Jiaqi”

MiniMax oficial publica un artículo largo en respuesta a la incapacidad del modelo de la serie M2 para decir Ma Jiaqi, proporcionando un proceso completo de investigación y reflexión técnica sobre el problema de “reconocimiento de Jiaqi”. ⬇️
MiniMax indica que realizó una investigación desde múltiples dimensiones, incluyendo la alineación de la versión del tokenizador, la distribución estadística de embeddings, la búsqueda de vecinos semánticos cercanos, experimentos comparativos de pocos disparos en modelos preentrenados y postentrenados, estadísticas de frecuencia de datos postentrenamiento, y un escaneo de clasificación de cambios en la amplitud de la capa lm_head en todo el vocabulario.
La causa final identificada fue: “Jiaqi” fue fusionado en un token independiente en el tokenizador, pero este token apareció con una frecuencia extremadamente baja en los datos de postentrenamiento, lo que llevó a que el modelo olvidara gradualmente su capacidad de generar ese token durante el postentrenamiento.