Analyse : Le contenu open source de TileKernels correspond à plusieurs reprises aux spécifications de l'architecture V4 divulguées précédemment par Yifan Zhang

Selon la surveillance Beating, la bibliothèque de noyaux TileKernels open source de DeepSeek présente plusieurs correspondances avec la spécification de l’architecture V4 révélée précédemment par Yifan Zhang.

Zhang affirme que la connexion résiduelle de V4 utilise Hyper-Connections. La version open source de TileKernels est le noyau mHC (Hyper-Connections à Contrainte de Manifold), qui est une version améliorée de HC avec double matrice aléatoire proposée par l’équipe Seed de DeepSeek en 2024, résolvant le problème de divergence du signal lors de l’entraînement à grande échelle. mHC appartient lui-même à la famille des Hyper-Connections, l’HC original ne pouvant pas supporter un entraînement stable à grande échelle, V4 utiliserait en réalité mHC. Zhang indique que V4 utilise le Mega-Kernel MoE Fusionné pour gérer une couche MoE avec 384 experts activant 6, et le module MoE de TileKernels comprend la sélection des experts Top-k, la cartographie des tokens vers les experts, ainsi que la distribution et la collecte fusionnées des experts.

TileKernels inclut également le noyau Engram, un module de mémoire conditionnelle présenté dans la publication de DeepSeek en janvier de cette année, mais Zhang ne mentionne pas Engram dans la spécification V4. La bibliothèque supporte SM90 (Hopper) et SM100 (Blackwell), sans support pour Huawei Ascend. « The Information » a précédemment rapporté que V4 s’entraînait sur Blackwell, et DeepSeek a passé plusieurs mois à adapter le modèle aux puces Huawei et Cambrian.