SonicMoEはNVIDIA Blackwell GPU上でピークスループット動作を実現します。

robot
概要作成中
ME News ニュース、4月23日(UTC+8)、SonicMoE は現在 NVIDIA Blackwell GPU 上でピークスループット動作が可能であることを発表した。その提供するデータによると、当該モデルのフォワードパスおよびバックワードパスの TFLOPS 性能は、それぞれ DeepGEMM ベンチマークより 54% と 35% 高く、フォワードパスの TFLOPS 性能は triton 公式サンプルより 21% 高い。同時に、SonicMoE は最小のアクティベーションメモリ使用量を維持しており、高密度モデルと同じである。(出典:InFoQ)
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし