Почему большие модели не могут написать «Ма Цзяци»? Полный скан словаря MiniMax обнаружил, что почти 5% токенов были забыты в последующем обучении

Согласно мониторингу Beating, MiniMax опубликовала технический блог, раскрывающий процесс диагностики причины, по которой их крупная модель серии M2 не может выводить имя «马嘉祺». Диагностика началась с одного конкретного случая и в конечном итоге выявила системную деградацию, затрагивающую весь словарь.
Причиной стала сегментатор (tokenizer, компонент, разбивающий текст на единицы обработки моделью), который во время обучения объединил «嘉祺» в один отдельный токен.
На этапе предварительного обучения модель видел большое количество интернет-текстов и научилась этому токену; однако в последующих диалоговых данных образцов с «嘉祺» было менее 5.
В процессе дообучения высокочастотные токены, такие как метки tool_call, символы кода и другие, постоянно обновляли окружающее векторное пространство, вытесняя такие низкочастотные токены, как «嘉祺», в неправильное направление.
Модель всё ещё «знает» 马嘉祺 и может точно отвечать на связанные вопросы, но потеряла способность выводить этот токен.
Затем команда провела полный скан примерно 200 тысяч токенов в полном словаре и обнаружила, что около 4,9% токенов значительно деградировали.
Самая серьёзная деградация наблюдается в японском языке: 29,7% японских токенов значительно деградировали, что значительно превышает 3,3% корейских, 3,7% русских, 3,9% китайских и 3,5% английских токенов.
В числе наиболее деградировавших также оказались такие интернет-SEO спам-слова, как «传奇私服» и «无痛人流», механизм которых полностью совпадает с «嘉祺».
Тяжёлая деградация японских токенов также раскрыла старую загадку. Ранее модель иногда вставляла русские или корейские символы в японские диалоги, и причина этого оставалась неизвестной.
Анализ показал, что после смещения параметров японских токенов они начали путать векторное пространство с токенами других языков, что приводило к неправильной активации японских токенов (языковая мешанина) и вытеснению соседних низкочастотных китайских токенов за пределы нормальной вероятности (забывание токенов).
Решением стало создание синтетических данных, охватывающих весь словарь, чтобы модель могла тренироваться на простом повторяющем задании до тех пор, пока каждый токен не освоится.
Результат был мгновенным: доля вставок русских символов в японские ответы снизилась с 47% до 1%, а стабильность выходных параметров всего словаря (косинусное сходство) выросла с минимальных 0,329 до более чем 0,97.