Чому великі моделі не здатні генерувати «Ма Цзяці»: аналіз токенів MiniMax виявляє майже 5% забутих токенів після дообучення

Згідно з моніторингом Dongcha Beating, MiniMax опублікував технічний блог, у якому розкривається причина неспроможності його великої моделі серії M2 виводити ім’я «Ма Цзяці». Розслідування почалося з конкретного випадку і зрештою виявило системну проблему деградації, що впливала на весь словник. Причиною було визначено те, що токенізатор (компонент, який розділяє текст на одиниці для обробки моделлю) злив «Цзяці» у самостійний токен під час тренування. На етапі попереднього навчання модель стикнулася з великою кількістю інтернет-текстів і вивчила цей токен; однак у даних для діалогу після тренування було менше ніж 5 зразків, що містили «Цзяці». Під час пост-тренування високочастотні токени, такі як маркери виклику інструментів і символи коду, безперервно оновлювали навколишній векторний простір, відсуваючи низькочастотні токени, такі як «Цзяці», у неправильному напрямку. Модель все ще «розпізнає» Ма Цзяці і може точно відповідати з відповідною інформацією; вона просто втратила здатність виводити цей токен. Команда згодом провела всебічне сканування приблизно 200 000 токенів у повному словнику і виявила, що близько 4,9% токенів зазнали значної деградації. Найсильніша деградація спостерігалась у японській мові: 29,7% японських токенів показали значну деградацію, що значно перевищує корейські (3,3%), російські (3,7%), китайські (3,9%) та англійські (3,5%). Інші помітно деградовані токени включали інтернет-SEO «сміттєві» терміни, такі як «легендарний приватний сервер» і «безболісний аборт», механізми яких ідентичні «Цзяці». Сильна деградація в японській мові також розв’язала давню загадку. Раніше модель іноді змішувала російські або корейські символи у японських діалогах, але причина була невідома. Аналіз показав, що після дрейфу параметрів японських токенів вони заплуталися з токенами інших мов у векторному просторі, що призводило до неправильного активування японських токенів (мішаних мов) і відсувало сусідні низькочастотні китайські токени за межі нормального ймовірнісного діапазону (забування токенів). Рішення полягає у створенні синтетичного набору даних, що охоплює весь словник, що дозволить моделі практикувати кожен токен за допомогою простих повторювальних завдань. Результати були миттєвими: частка російських символів, що змішувалися у японські відповіді, знизилася з 47% до 1%, а стабільність вихідних параметрів для всього словника (косинусна схожість) зросла з низького рівня 0,329 до понад 0,97.