Kimi, esta desacoplamento entre centros de dados tem potencial, reduzir o custo de inferência é que realmente beneficia a todos

Ver original
MeNews
Moonshot AI estende a tecnologia de desacoplamento de Prefill/Decode para além de centros de dados e hardware heterogéneo
ME News Notícias, 18 de abril (UTC+8), a equipe Moonshot AI anunciou recentemente que sua tecnologia de desacoplamento de Prefill (pré-preenchimento) e Decode (decodificação) foi bem-sucedida na expansão de um único cluster para ambientes de múltiplos data centers e hardware heterogêneo. Segundo o artigo, essa iniciativa tem potencial para reduzir significativamente o custo de inferência por token. Anteriormente, a expansão dessa tecnologia era impedida pelo overhead de transmissão do cache KV. A realização dessa inovação depende crucialmente do seu modelo híbrido Kimi
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado