Почему большие модели не могут написать «Ма Цзяци»? Полный скан словаря MiniMax обнаружил, что почти 5% токенов были забыты в последующем обучении.

Согласно мониторингу Beating, MiniMax опубликовала технический блог, раскрывающий процесс диагностики причины, по которой крупная модель серии M2 не может выводить имя «马嘉祺». Диагностика началась с одного примера и в конечном итоге выявила системную деградацию, затронувшую весь словарь.

Причиной стала сегментатор (tokenizer, компонент, разбивающий текст на единицы обработки модели), который во время обучения объединил «嘉祺» в отдельный токен. В этапе предварительного обучения модель видел большое количество интернет-текстов и научилась этому токену; однако в последующих диалоговых данных образцов с «嘉祺» было менее 5. В процессе дообучения, высокочастотные токены, такие как метки tool_call и символы кода, постоянно обновляли окружащее векторное пространство, вытесняя такие низкочастотные токены, как «嘉祺», в неправильное направление. Модель всё ещё «знает» 马嘉祺 и может точно отвечать на связанные вопросы, но потеряла способность выводить этот токен.

Затем команда провела полный скан всего словаря из около 200 тысяч токенов и обнаружила, что примерно 4.9% токенов значительно деградировали. Самая серьёзная деградация наблюдается в японском языке: 29.7% японских токенов значительно деградировали, что значительно превышает 3.3% корейских, 3.7% русских, 3.9% китайских и 3.5% английских токенов. Среди наиболее деградировавших также оказались такие интернет-SEO спам-слова, как «传奇私服» и «无痛人流», механизм которых полностью совпадает с «嘉祺».

Тяжёлая деградация японских токенов также раскрыла старую загадку. Ранее модель иногда случайно вставляла русские или корейские символы в японские диалоги, и причина этого оставалась неясной. Анализ показал, что после смещения параметров японских токенов они начали путатьс в векторном пространстве с токенами других языков, что приводило как к неправильной активации японских токенов (языковая смесь), так и к вытеснению соседних низкочастотных китайских токенов за пределы нормальной вероятности (забывание токенов).

Решением стало создание синтетических данных, охватывающих весь словарь, чтобы модель тренировалась на простом повторяющем задании до тех пор, пока не освоит каждый токен. Результат был мгновенным: доля случаев, когда в ответах на японском появлялись русские символы, снизилась с 47% до 1%, а стабильность выходных параметров всего словаря (косинусное сходство) выросла с минимальных 0.329 до более чем 0.97.