SonicMoE atinge o throughput máximo na GPU NVIDIA Blackwell.

robot
Geração de resumo em curso
Notícias ME, 23 de abril (UTC+8), a SonicMoE anunciou que agora pode executar com rendimento máximo nas GPUs NVIDIA Blackwell. De acordo com os dados fornecidos, o desempenho TFLOPS de propagação direta e retropropagação do modelo é 54% e 35% superior ao benchmark DeepGEMM, respetivamente, e o desempenho TFLOPS de propagação direta é 21% superior ao exemplo oficial do triton. Ao mesmo tempo, a SonicMoE ainda mantém a menor ocupação de memória ativa, igual ao modelo denso. (Fonte: InFoQ)
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário