Análisis: El contenido de código abierto de TileKernels corresponde en varios aspectos a las especificaciones de la arquitectura V4 divulgadas anteriormente por Yifan Zhang

Según la monitorización de Beating, la biblioteca de núcleos TileKernels de código abierto de DeepSeek tiene varias correspondencias con las especificaciones de la arquitectura V4 reveladas anteriormente por Yifan Zhang.

Zhang afirma que las conexiones residuales de V4 utilizan Hyper-Connections. TileKernels de código abierto son mHC (Hyper-Connections Constrained Manifold), una versión mejorada de HC propuesta por el equipo Seed de DeepSeek en 2024, que combina HC con doble matriz aleatoria, resolviendo el problema de divergencia de señal en entrenamiento a gran escala. mHC en sí mismo es una forma de Hyper-Connections, ya que el HC original no soportaba entrenamiento estable a gran escala, y lo que se usa en V4 sería en realidad mHC. Zhang dice que V4 usa un Mega-Kernel MoE fusionado para gestionar una capa MoE con 384 expertos activados en 6, y que el módulo MoE de TileKernels incluye selección de expertos Top-k, mapeo de tokens a expertos y distribución y recopilación de expertos fusionados.

TileKernels también incluye el núcleo Engram, que es un módulo de memoria condicional propuesto en un artículo de enero de este año por DeepSeek, pero no se menciona en las especificaciones de V4 de Zhang. La biblioteca soporta SM90 (Hopper) y SM100 (Blackwell), sin soporte para Huawei Ascend. Anteriormente, «The Information» informó que V4 se entrenó en Blackwell, y DeepSeek dedicó varios meses a adaptar el modelo para que funcionara con chips de Huawei y Cambrian.