ドンチャビーティングによる監視によると、MiniMaxは技術ブログを公開し、そのM2シリーズ大規模モデルが「马佳琦（Ma Jiaqi）」という名前を出力できない根本原因の調査結果を明らかにしました。調査は特定のケースから始まり、最終的に語彙全体に影響を与えるシステム的な劣化問題を明らかにしました。根本原因は、トークナイザー（モデル処理のためにテキストを単位に分割するコンポーネント）が訓練中に「Jiaqi」を独立したトークンに統合してしまったことにあります。事前訓練フェーズでは、モデルは大量のインターネットテキストに遭遇し、このトークンを学習しましたが、事後訓練の対話データには「Jiaqi」を含むサンプルが5未満しかありませんでした。事後訓練中、高頻度のトークン（ツール呼び出しマーカーやコード記号など）が周囲のベクトル空間を絶えず更新し、低頻度のトークンである「Jiaqi」を誤った方向に押しやりました。モデルは依然として「马佳琦」を「認識」し、関連情報を正確に返答できますが、このトークンを出力する能力を失っています。チームはその後、全語彙約20万トークンの包括的なスキャンを行い、そのうち約4.9％のトークンが著しく劣化していることを発見しました。最も深刻な劣化は日本語で、29.7％の日本語トークンが著しい劣化を示し、韓国語（3.3％）、ロシア語（3.7％）、中国語（3.9％）、英語（3.5％）を大きく上回っています。その他、インターネットSEOのゴミ用語（例：「伝説のプライベートサーバー」や「痛みのない中絶」）も「Jiaqi」と同じメカニズムで著しく劣化していました。日本語の深刻な劣化は、古い謎も解決しました。以前は、モデルが日本語の対話中にロシア語や韓国語の文字を混入させることがありましたが、その原因は不明でした。この分析により、日本語トークンのパラメータドリフト後、これらが他の言語のトークンとベクトル空間で混乱し、日本語トークンの誤った活性化（言語の混合）や隣接する低頻度の中国語トークンの正常な確率範囲からの押し出し（トークン忘却）を引き起こしていることが判明しました。解決策は、全語彙をカバーする合成データセットを構築し、モデルに各トークンを単純な反復タスクを通じて練習させることです。その結果は即効性がありました：日本語の応答に混入するロシア語文字の割合は47％から1％に低下し、全語彙の出力パラメータの安定性（コサイン類似度）は最低0.329からすべて0.97以上に向上しました。

原文表示

このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております（表明・保証をするものではありません）。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。