Почему крупные модели не справляются с генерацией «Ма Цзяци»: анализ токенов MiniMax показывает, что почти 5% токенов забываются после обучения

Согласно мониторингу Dongcha Beating, MiniMax опубликовала технический блог, раскрывающий причину, по которой крупная модель серии M2 не могла выводить имя «Ма Цзяци». Расследование началось с конкретного случая и в конечном итоге выявило системную проблему деградации, затрагивающую весь словарь. Причиной послужило то, что токенизатор (компонент, который сегментирует текст на единицы для обработки моделью) объединял «Цзяци» в отдельный токен во время обучения. На этапе предварительного обучения модель сталкивалась с большим количеством интернет-текстов и выучила этот токен; однако в данных для диалогов после обучения было менее 5 образцов, содержащих «Цзяци». Во время пост-обучения токены высокой частоты, такие как маркеры вызова инструментов и символы кода, постоянно обновляли окружающее векторное пространство, вытесняя низкочастотные токены, такие как «Цзяци», в неправильном направлении. Модель всё ещё «распознаёт» Ма Цзяци и может точно отвечать с соответствующей информацией; она просто потеряла способность выводить этот токен. Команда затем провела всесторонний скан примерно 200 000 токенов полного словаря и обнаружила, что около 4,9% токенов значительно деградировали. Самая серьёзная деградация наблюдалась в японском языке: 29,7% японских токенов показали значительную деградацию, значительно превышая корейский (3,3%), русский (3,7%), китайский (3,9%) и английский (3,5%). Другие заметно деградировавшие токены включали интернет-SEO мусорные термины, такие как «легендарный приватный сервер» и «бесполезный аборт», с механизмами, идентичными «Цзяци». Серьёзная деградация в японском также решила старую загадку. Ранее модель иногда вставляла русские или корейские символы в японские диалоги, но причина оставалась неизвестной. Этот анализ показал, что после дрейфа параметров японских токенов они запутались с токенами других языков в векторном пространстве, что приводило к неправильной активации японских токенов (смешивание языков) и вытеснению соседних низкочастотных китайских токенов из нормального диапазона вероятностей (забывание токенов). Решением является создание синтетического набора данных, охватывающего весь словарь, позволяющего модели практиковать каждый токен через простые повторяющиеся задачи. Результаты были мгновенными: доля русских символов, вставленных в японские ответы, снизилась с 47% до 1%, а стабильность выходных параметров для всего словаря (косинусное сходство) увеличилась с низкого значения 0,329 до более 0,97.