DeepSeek lanza como código abierto DeepInfer: los costos de inferencia están cambiando

DeepSeek ha publicado hoy como código abierto su framework interno de inferencia DeepInfer y el componente de codificación y decodificación de tokens deepseek-recipe, compatibles con las plataformas de NVIDIA y Huawei Ascend.

Con este framework, el rendimiento diario de V4.1 Flash en un solo clúster ya alcanza los 155 billones de tokens, con unos ingresos de 38 dólares por tarjeta y hora, calculados según la tarifa eléctrica valle.

Gracias a la separación entre Prefill y Decode, la reutilización de KVCache y la decodificación especulativa, se han optimizado considerablemente la eficiencia de inferencia y la relación entre consumo energético y rendimiento.

Perspectiva de Army: cuando los frameworks de inferencia pasan de ser cajas negras a ser de código abierto, la competencia central en IA se convierte en quién puede reducir al mínimo el costo de los tokens.