MiniMax abriu o código do MSA, inferência de contexto de milhões de tokens finalmente sem gastar créditos, licença MIT para uso comercial direto, esta semana aguardo os pesos do M3

Ver original
CoinNetwork
MiniMax código aberto da biblioteca de atenção exclusiva Blackwell, o peso M3 deve ser lançado nesta sexta-feira
A CoinWorld informa que a MiniMax anunciou que a sua biblioteca de atenção de alto desempenho para NVIDIA Blackwell (SM100), a MSA, foi tornada de código aberto, sob licença MIT, e os pesos MiniMax-M3 serão lançados esta semana. A MSA filtra blocos KV, executando atenção apenas nos blocos relevantes, suportando raciocínio de contexto de milhões de tokens. Pesquisas mostram que, em um cenário de 1 milhão de tokens, a MSA reduz significativamente a carga computacional em comparação com Dense GQA, e oferece aceleração notável no H800. A versão de código aberto integra JIT em C++ e Cute-DSL, suportando múltiplas precisões.
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado