Чому велика модель не може написати «Ма Цзяці»? Повний скан словника MiniMax виявив, що майже 5% токенів були забуті під час подальшого навчання

Згідно з моніторингом Beating, MiniMax опублікував технічний блог, у якому розкривається причина неспроможності великої моделі серії M2 виводити ім’я «Ма Цзяці». Виявлення проблеми почалося з окремого випадку і в кінцевому підсумку розкрила системну деградацію, що зачепила весь словник.
Причиною є токенізатор (компонент, що розбиває текст на обчислювальні одиниці для моделі), який під час тренування об’єднав «Цзяці» у окремий токен.
На етапі попереднього тренування модель бачила багато інтернет-текстів і навчилася цьому токену; але у подальшому тренуванні діалогових даних, що містили «Цзяці», було менше ніж 5 зразків.
Під час додаткового тренування високочастотні токени, такі як позначки tool_call, символи коду тощо, постійно оновлювали векторний простір навколо них, витісняючи низькочастотні токени типу «Цзяці» у неправильному напрямку.
Модель все ще «знає» Ма Цзяці і може точно відповідати на пов’язані запити, але втрата полягала лише у здатності виводити цей токен.
Команда провела повний аналіз приблизно 200 000 токенів у словнику і виявила, що близько 4,9% токенів зазнали значної деградації.
Найсерйозніше деградували японські токени: 29,7% японських токенів значно деградували, що значно перевищує корейські 3,3%, російські 3,7%, китайські 3,9% та англійські 3,5%.
До списку лідерів за деградацією увійшли також «легендарні приватні сервери», «безболісне абортування» та інші SEO-спам-слова з інтернету, механізм яких ідентичний «Цзяці».
Серйозна деградація японських токенів також розв’язала стару загадку. Раніше модель у японських діалогах іноді випадково вставляла російські або корейські символи, і причина цього залишалася невідомою.
Аналіз показав, що після зсуву параметрів японських токенів вони почали змішуватися з токенами інших мов у векторному просторі, що спричинило як неправильну активацію японських токенів (мішані мови), так і витіснення сусідніх низькочастотних китайських токенів із нормального ймовірнісного діапазону (забуття токенів).
Рішення полягає у створенні синтетичних даних, що охоплюють весь словник, щоб навчити модель повторювати кожен токен простим завданням.
Результат був миттєвим: частка вставок російських символів у японські відповіді знизилася з 47% до 1%, а стабільність вихідних параметрів для всього словника (косинусна схожість) знизилася до мінімуму 0,329 і піднялася вище 0,97 у всіх випадках.