SonicMoE funciona con rendimiento máximo en las GPU NVIDIA Blackwell.

robot
Generación de resúmenes en curso
ME News mensaje: el 23 de abril (UTC+8), SonicMoE anunció que ahora puede funcionar a máxima capacidad de rendimiento en GPU NVIDIA Blackwell. Según los datos proporcionados, el rendimiento TFLOPS de la propagación hacia adelante y la propagación hacia atrás del modelo es un 54% y 35% superior al punto de referencia de DeepGEMM, respectivamente, y el rendimiento TFLOPS de la propagación hacia adelante es un 21% superior al del ejemplo oficial de Triton. Al mismo tiempo, SonicMoE mantiene la ocupación de memoria de activación más pequeña, igual que un modelo denso. (Fuente: InFoQ)
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios