MiniMax ha abierto el código de MSA, ya no es necesario gastar créditos en inferencias de contexto de millones de tokens, licencia MIT para uso comercial directo, esta semana espero las ponderaciones de M3.

Ver original
CoinNetwork
MiniMax código abierto de la biblioteca de atención exclusiva de Blackwell, se espera que el peso M3 se publique este viernes.
La red de la comunidad de criptomonedas informa que MiniMax ha anunciado que su biblioteca de atención de alto rendimiento para NVIDIA Blackwell (SM100), MSA, ya está de código abierto, con licencia MIT, y que los pesos de MiniMax-M3 se lanzarán esta semana.
MSA filtra bloques KV, ejecutando atención solo en los bloques relevantes, soportando inferencia de contexto a nivel de millones.
Los estudios muestran que, en un escenario de 1M de tokens, MSA reduce significativamente la carga computacional en comparación con Dense GQA, y logra una aceleración notable en H800.
La versión de código abierto integra C++ JIT y Cute-DSL, soportando múltiples precisiones.
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado