分析：TileKernels オープンソースコンテンツは、Yifan ZhangのV4アーキテクチャ仕様と一致しています

ドンチャビーティングによる監視によると、DeepSeekがオープンソース化したTileKernelsカーネルライブラリは、以前Yifan Zhangによって公開されたV4アーキテクチャ仕様と複数の点で一致しています。Zhangは、V4の残差接続はHyper-Connectionsを使用していると述べました。オープンソースのTileKernelsには、mHC（Manifold-Constrained Hyper-Connections）が搭載されており、これは2024年にByte Seedチームによって提案されたHCの改良版であり、元のHCで遭遇した大規模トレーニング中の信号の発散問題に対処しています。mHC自体はHyper-Connectionsの一種であり、元のHCは安定した大規模トレーニングをサポートできないため、実際にV4で使用されているのはおそらくmHCです。Zhangは、V4はFused MoE Mega-Kernelを採用しており、6つのMoE層にわたる384のエキスパートアクティベーションを管理していると述べました。一方、TileKernelsのMoEモジュールには、Top-kエキスパート選択、トークンからエキスパートへのマッピング、融合されたエキスパートの分配と収集が含まれています。TileKernelsにはまた、DeepSeekが今年初めに発表した論文で提案された条件付きメモリモジュールであるEngramカーネルも含まれていますが、EngramはZhangのV4仕様には記載されていません。このライブラリはSM90（Hopper）とSM100（Blackwell）をサポートしていますが、Huawei Ascendはサポートしていません。以前、The InformationはV4がBlackwell上でトレーニングされたと報じており、DeepSeekはHuaweiやCambriconチップ向けにモデルを適応させるために数ヶ月を費やしてきました。