Moonshot AI amplia a tecnologia de desacoplamento de Prefill/Decode para além de centros de dados e hardware heterogêneo

ME News Notícias, 18 de abril (UTC+8), a equipe Moonshot AI anunciou recentemente que sua tecnologia de desacoplamento de Pré-preenchimento (Prefill) e Decodificação (Decode) foi bem-sucedida ao se expandir de um único cluster para ambientes de data center cruzados e hardware heterogêneo. Segundo o artigo, essa medida deve reduzir significativamente o custo de inferência por token. Anteriormente, a expansão dessa tecnologia foi impedida pelo problema de custo de transmissão do cache KV. A realização dessa inovação dependeu crucialmente de seu modelo híbrido Kimi Linear. (Fonte: InFoQ)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 3
  • 1
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
PublicBlockchainUnderTheAurora
· 10h atrás
Tenho curiosidade sobre como eles lidam com a latência entre diferentes DCs, o artigo não explicou com detalhes.
Ver originalResponder0
ExitLiquidityIntern
· 10h atrás
A arquitetura do modelo híbrido parece ser uma variável-chave, aguardando detalhes técnicos de primeira mão
Ver originalResponder0
GateUser-c1cab702
· 10h atrás
De um cluster único para múltiplos data centers, a complexidade do projeto por si só já dá dor de cabeça
Ver originalResponder0
  • Fixado