SonicMoE atinge throughput máximo em GPU NVIDIA Blackwell

robot
Geração do resumo em andamento
ME News消息,4月23日(UTC+8),SonicMoE宣布现在可在NVIDIA Blackwell GPU上实现峰值吞吐量运行。根据其提供的数据,该模型前向传播和反向传播的TFLOPS性能分别比DeepGEMM基准高出54%和35%,前向传播TFLOPS性能比triton官方示例高出21%。同时,SonicMoE仍保持了最小的激活内存占用,与密集模型相同。(来源:InFoQ)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários