MiniMaxがMSAをオープンソース化、百万トークンのコンテキスト推論がついにコストを気にせず利用可能に、MITライセンスで直接商用利用可能、今週はM3の重みを待つ

原文表示
CoinNetwork
MiniMaxオープンソースBlackwell専用アテンションライブラリ、M3ウェイトは今週金曜日にリリース予定
仮想通貨界の報道によると、MiniMaxはNVIDIA Blackwell(SM100)向けの高性能アテンションライブラリMSAをオープンソース化し、MITライセンスの下で公開しました。MiniMax-M3の重みは今週リリースされます。MSAはKVブロックを選別し、関連するブロックのみにアテンションを実行し、百万レベルのコンテキスト推論をサポートします。研究によると、1Mトークンの状況下で、MSAはDense GQAに比べて計算量を大幅に削減し、H800上で顕著な高速化を実現しています。オープンソース版にはC++ JITとCute-DSLが統合されており、多精度をサポートします。
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし
  • ピン留め