Чому велика модель не може написати «Ма Цзяці»? Повний скан словника MiniMax виявив, що майже 5% токенів були забуті під час подальшого навчання

За даними моніторингу Beating, MiniMax опублікував технічний блог, у якому розкривається причина неспроможності їхньої великої моделі серії M2 виводити ім’я «马嘉祺». Виявлення проблеми почалося з аналізу окремого випадку і в кінцевому підсумку розкриває системну деградацію, що зачепила весь словник.

Причиною стала сегментація (tokenizer, компонент, що розбиває текст на оброблювані модулем частини) під час тренування злила «嘉祺» у один окремий токен. На етапі попереднього тренування модель бачила багато інтернет-текстів і навчилася цьому токену; але у подальшому тренуванні діалогових даних кількість зразків з «嘉祺» була менше 5. У процесі додаткового тренування високочастотні токени, такі як позначки tool_call, символи коду тощо, постійно оновлювали свої векторні простори, витісняючи низькочастотні токени типу «嘉祺» у неправильний напрямок. Модель все ще «знає» 马嘉祺 і може точно відповідати на пов’язані запити, але втрата полягає лише у здатності виводити цей токен.

Команда провела повний аналіз всього словника з близько 200 тисяч токенів і виявила, що приблизно 4.9% токенів зазнали значної деградації. Найсерйозніше деградували японські токени: 29.7% японських токенів показали значну деградацію, що значно перевищує корейські 3.3%, російські 3.7%, китайські 3.9% та англійські 3.5%. У списку лідерів за деградацією також опинилися «传奇私服» («легендарний приватний сервер»), «无痛人流» («безболісне абортування») та інші SEO-спам-слова з інтернету, механізм яких ідентичний «嘉祺».

Серйозна деградація японських токенів також розв’язала стару загадку. Раніше модель у японських діалогах іноді випадково вставляла російські або корейські символи, і причина цього залишалася невідомою. Аналіз показав, що після зсуву параметрів японських токенів у векторному просторі вони почали змішуватися з токенами інших мов, що призвело до неправильного активування японських токенів (мішані мови) і витіснення сусідніх низькочастотних китайських токенів за нормальні ймовірності (забуття токенів).

Рішення полягає у створенні синтетичних даних, що охоплюють весь словник, щоб модель тренувалася на простому повторювальному завданні до здатності кожного токена. Результат був миттєвим: частка відповідей із російськими символами у японських відповідях знизилася з 47% до 1%, а стабільність вихідних параметрів всього словника (косинусна схожість) знизилася до мінімуму 0.329 і підвищилася до понад 0.97 у всіх випадках.