Analyse : Le contenu open source de TileKernels correspond aux spécifications de l'architecture V4 de Yifan Zhang

Selon la surveillance de Dongcha Beating, la bibliothèque de noyaux TileKernels open-sourcée par DeepSeek correspond de plusieurs manières aux spécifications de l’architecture V4 précédemment divulguées par Yifan Zhang. Zhang a déclaré que les connexions résiduelles V4 utilisent des Hyper-Connections. La version open-sourcée de TileKernels présente des mHC (Hyper-Connections à Contrainte de Manifold), qui est une version améliorée du HC proposée par l’équipe Byte Seed en 2024, résolvant le problème de divergence du signal rencontré lors de l’entraînement à grande échelle avec le HC original. mHC lui-même est un type de Hyper-Connections, car le HC original ne peut pas supporter un entraînement à grande échelle stable ; ainsi, mHC est probablement ce qui est réellement utilisé dans V4. Zhang a mentionné que V4 utilise le Mega-Kernel MoE Fusionné pour gérer 384 activations d’experts à travers 6 couches MoE, tandis que le module MoE dans TileKernels inclut la sélection des experts Top-k, la cartographie token-vers-expert, ainsi que la distribution et la collecte des experts fusionnés. TileKernels contient également le noyau Engram, qui est un module de mémoire conditionnelle proposé dans un article de DeepSeek plus tôt cette année, mais Engram n’est pas mentionné dans les spécifications V4 de Zhang. La bibliothèque supporte SM90 (Hopper) et SM100 (Blackwell), mais ne supporte pas Huawei Ascend. Auparavant, The Information a rapporté que V4 avait été entraîné sur Blackwell, et DeepSeek a passé des mois à adapter le modèle pour les puces Huawei et Cambricon.