汎用GPUで1T MoEを動かし千トークン突破、この協調設計はなかなかのものだ

原文表示
CoinNetwork
币界网消息、小米MimoチームとAIコンパイル最適化システムグループのTilertは、Mimo-v2.5-pro-ultraspeed推論モードのリリースを発表しました。標準的な8カード汎用GPUノード上で、1兆パラメータのハイブリッドエキスパート(MoE)モデルにおいて、1,000トークン/秒を超える極限生成速度を実現し、ピーク値は約1,200トークン/秒に達しました。これは、ウエハレベルの集積や純粋なチップ上SRAM専用チップなどの非常規ハードウェアを採用せず、標準の汎用ハードウェアとモデル・システムの協調設計だけで、初めて1兆モデルの千トークン生成速度を突破したことを示しています。
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし
  • ピン留め