混合線性注意力から全注意力に切り替え、シグモイドルーティングとForge推訓最適化、M2.7の長いシーケンスエージェントRLにおけるエンジニアリングの取捨選択は非常に興味深い。100ラウンドの自己進化閉ループで30％の向上、このデータは9.8Bパラメータ規模の下でかなりの戦力になる。

この記事はMiniMaxのM2シリーズの技術レポートを整理し、M1のハイブリッド線形注意力から全注意力へのトレードオフ、そしてMTP、Sigmoidルーティング、Forgeが推論と訓練のコスト緩和に果たす役割を説明しています。
長いシーケンスのエージェントRLにおけるForgeとM2.7の自己進化メカニズムを初公開し、ウィンドウ化FIFOとプレフィックスツリーの統合を採用し、長いシーケンスでの訓練速度を最大40倍向上させました。
M2.7の自己進化の閉ループは100回以上の分析、コード修正、評価実行、リカバリーを完了でき、約30％の性能向上を実現しています。
単一トークン9.8Bパラメータで、SWE-Proは56.22％、MLEベンチは66.6％で、Gemini 3.1に近づいています。