Kimi desta vez conseguiu entender a separação entre Prefill/Decode, podendo economizar custos de token ao atravessar centros de dados, é interessante

ME News Notícias, 18 de abril (UTC+8), a equipe Moonshot AI anunciou recentemente que sua tecnologia de desacoplamento de Prefill (pré-preenchimento) e Decode (decodificação) foi com sucesso expandida de um único cluster para ambientes de múltiplos data centers e hardware heterogêneo. Segundo o artigo, essa iniciativa tem potencial para reduzir significativamente o custo de inferência por token. Anteriormente, a expansão dessa tecnologia era impedida pelo problema do custo de transmissão do cache KV. A realização dessa inovação depende crucialmente do seu modelo híbrido Kimi