Moonshot desacoplou Prefill/Decode e inovou na interoperabilidade entre diferentes centros de dados, permitindo que hardware heterogêneo funcione, e a estrutura de custos vai passar por uma transformação radical

ME News Notícias, 18 de abril (UTC+8), a equipe Moonshot AI anunciou recentemente que sua tecnologia de desacoplamento de Prefill (pré-preenchimento) e Decode (decodificação) foi bem-sucedida ao expandir de um único cluster para ambientes de data center cruzados e hardware heterogêneo. Segundo o artigo, essa medida deve reduzir significativamente o custo de inferência por token. Anteriormente, a expansão dessa tecnologia foi impedida pelo problema de overhead na transmissão do cache KV. A realização dessa inovação depende crucialmente do seu modelo híbrido Kimi