DeepSeek V4 publié : le modèle phare de 1,6T paramètres supporte un contexte d'environ 1 million, la puissance d'inférence n'est que de 27 % de celle de V3.2

Selon le suivi Beating, aperçu de la série open source DeepSeek V4, licence MIT, poids disponibles sur Hugging Face et ModelScope. La série comprend deux modèles MoE : V4-Pro avec un total de 1,6T de paramètres, 49B (490 milliards) activations par token ; V4-Flash avec un total de 284B (2840 milliards), 13B (130 milliards) activations. Les deux prennent en charge un contexte d’environ 1 million de tokens.

Trois améliorations architecturales : mécanisme d’attention hybride (attention sparse compressée CSA + attention fortement compressée HCA) réduisant considérablement le coût du contexte long, avec un FLOPs de seulement 27 % de V3.2 pour une inférence à 1M de tokens sur V4-Pro, et une mémoire cache KV (mémoire vidéo utilisée pour stocker l’historique lors de l’inférence) seulement 10 % de V3.2 ; contrainte de manifold avec super-connexion mHC remplaçant la connexion résiduelle traditionnelle, renforçant la stabilité de la propagation du signal entre couches ; entraînement accéléré par l’optimiseur Muon. Données de pré-entraînement dépassant 32T de tokens.

L’entraînement postérieur se déroule en deux phases : d’abord, entraînement spécialisé dans chaque domaine avec SFT et GRPO par apprentissage par renforcement, puis fusion en un seul modèle via distillation en ligne. V4-Pro-Max (mode de puissance d’inférence maximale) se revendique comme le modèle open source le plus puissant à ce jour, avec une référence de codage atteignant le sommet, et une réduction significative de l’écart en inférence et tâches d’agent par rapport aux modèles propriétaires de pointe. V4-Flash-Max, après un budget de réflexion suffisant, affiche des performances d’inférence proches de Pro, mais limitée en connaissances pures et tâches d’agents complexes en raison de la taille des paramètres. Les poids sont stockés en précision mixte FP4+FP8.