SonicMoE 在 NVIDIA Blackwell GPU 上实现峰值吞吐量运行

robot
摘要生成中
ME News 消息,4 月 23 日(UTC+8),SonicMoE 宣布现可在 NVIDIA Blackwell GPU 上实现峰值吞吐量运行。根据其提供的数据,该模型前向传播和反向传播的 TFLOPS 性能分别比 DeepGEMM 基准高出 54% 和 35%,前向传播 TFLOPS 性能比 triton 官方示例高出 21%。同时,SonicMoE 仍保持了最小的激活内存占用,与密集模型相同。(来源:InFoQ)
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论