Moonshot AI extiende la tecnología de desacoplamiento de Prefill/Decode a centros de datos cruzados y hardware heterogéneo
ME News Noticias, 18 de abril (UTC+8), el equipo de Moonshot AI anunció recientemente que su tecnología de desacoplamiento de Prefill (prellenado) y Decode (decodificación) se ha expandido con éxito desde un solo clúster a entornos de múltiples centros de datos y hardware heterogéneo. Según el artículo, este movimiento podría reducir significativamente el costo de inferencia por cada token. Anteriormente, la expansión de esta tecnología se había visto obstaculizada por los costos de transmisión de la caché KV. La implementación de este avance dependió en gran medida de su modelo híbrido Kimi.