MiniMaxがMSAをオープンソース化、百万トークンのコンテキスト推論がついにコストを気にせず利用可能に、MITライセンスで直接商用利用可能、今週はM3の重みを待つ

仮想通貨界の報道によると、MiniMaxはNVIDIA Blackwell（SM100）向けの高性能アテンションライブラリMSAをオープンソース化し、MITライセンスの下で公開しました。MiniMax-M3の重みは今週リリースされます。MSAはKVブロックを選別し、関連するブロックのみにアテンションを実行し、百万レベルのコンテキスト推論をサポートします。研究によると、1Mトークンの状況下で、MSAはDense GQAに比べて計算量を大幅に削減し、H800上で顕著な高速化を実現しています。オープンソース版にはC++ JITとCute-DSLが統合されており、多精度をサポートします。