DeepSeek passe DeepInfer en open source : le coût de l’inférence est en train d’être redéfini

DeepSeek a aujourd’hui entièrement publié en open source son framework interne d’inférence DeepInfer et son composant d’encodage et de décodage des Token, deepseek-recipe, compatibles avec les plateformes NVIDIA et Huawei Ascend.
Grâce à ce framework, le débit quotidien de V4.1 Flash atteint déjà 155 billions de Token par cluster unique, pour un revenu de 38 dollars par carte et par heure, calculé sur la base du tarif d’électricité en heures creuses.
La séparation Prefill/Decode, la réutilisation du KVCache et le décodage spéculatif optimisent considérablement l’efficacité de l’inférence et le rapport entre consommation énergétique et performances.
Perspectives d’Army : lorsque les frameworks d’inférence passent de la boîte noire à l’open source, la principale compétition dans l’IA consiste à savoir qui peut réduire au minimum le coût des Token !