MiniMax abriu o código do MSA, inferência de contexto de milhões de tokens finalmente sem precisar gastar créditos, licença MIT para uso comercial direto, esta semana aguardando os pesos do M3

Ver original
CoinNetwork
MiniMax biblioteca de atenção exclusiva Blackwell de código aberto, peso M3 previsto para ser lançado nesta sexta-feira
A CoinWorld reporta que a MiniMax anunciou que sua biblioteca de atenção de alto desempenho para NVIDIA Blackwell (SM100), a MSA, foi open source, sob licença MIT, e os pesos MiniMax-M3 serão lançados nesta semana.
A MSA filtra blocos KV, executando atenção apenas nos blocos relevantes, suportando inferência de contexto de milhões de tokens.
Pesquisas mostram que, em um cenário de 1 milhão de tokens, a MSA reduz significativamente a carga computacional em comparação com Dense GQA, e oferece aceleração notável no H800.
A versão open source integra JIT em C++ e Cute-DSL, suportando múltiplas precisões.
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado