Анализ: Открытый исходный код TileKernels соответствует спецификациям архитектуры V4 Яфана Чжана

Согласно мониторингу Dongcha Beating, библиотека ядров TileKernels, открытая DeepSeek, в нескольких аспектах соответствует спецификациям архитектуры V4, ранее раскрытым Yifan Zhang.
Зянь заявил, что остаточные соединения V4 используют Hyper-Connections.
Открытая TileKernels включает mHC (Manifold-Constrained Hyper-Connections), что является улучшенной версией HC, предложенной командой Byte Seed в 2024 году, решающей проблему расхождения сигнала при масштабном обучении с оригинальным HC.
Сам mHC является типом Hyper-Connections, поскольку оригинальный HC не поддерживает стабильное масштабное обучение; следовательно, mHC, вероятно, используется в V4.
Зянь упомянул, что V4 использует Fused MoE Mega-Kernel для управления 384 экспертными активациями на 6 слоях MoE, в то время как модуль MoE в TileKernels включает выбор экспертов Top-k, отображение токенов на экспертов, а также распределение и сбор фузированных экспертов.
TileKernels также содержит ядро Engram, которое является условным модулем памяти, предложенным в статье DeepSeek, опубликованной ранее в этом году, но Engram не упоминается в спецификациях V4 Зяня.
Библиотека поддерживает SM90 (Hopper) и SM100 (Blackwell), но не поддерживает Huawei Ascend.
Ранее The Information сообщила, что V4 обучалась на Blackwell, и DeepSeek потратила месяцы на адаптацию модели для чипов Huawei и Cambricon.