Kimi, essa onda de desacoplamento entre centros de dados tem algo, reduzir o custo de inferência é que realmente é acessível a todos

ME News Notícias, 18 de abril (UTC+8), a equipe Moonshot AI anunciou recentemente que sua tecnologia de desacoplamento de Pré-preenchimento (Prefill) e Decodificação (Decode) foi bem-sucedida ao se expandir de um único cluster para ambientes de múltiplos data centers e hardware heterogêneo. Segundo o artigo, essa iniciativa tem o potencial de reduzir significativamente o custo de inferência por token. Anteriormente, a expansão dessa tecnologia era impedida pelo problema do custo de transmissão do cache KV. A realização dessa inovação depende crucialmente de seu modelo híbrido Kimi.