DiffusionBlocks分块训练可将神经网络内存降至1/B,多种架构验证性能
DiffusionBlocksは、Transformerに基づくネットワークを独立して訓練可能なブロックに分割し、残差ネットワークを離散化されたノイズ除去ステップと見なします。スコアマッチングを利用してブロックレベルの訓練を行い、ブロック間通信を必要とせず、訓練時のメモリ使用量を大幅に削減します。実験により、多くのアーキテクチャで有効であることが証明されており、推論段階では各ステップで1つのブロックのみを活性化し、12層のDiT(B=3)の計算量は元の約3分の1に低減されます。この方法は、ViT/DiT/MDM/AR Transformerなどに適用可能ですが、入力出力の次元が一致する必要があり、U-Netには使用できません。