残差ネットワークを離散的なノイズ除去と見なし、スコアマッチングでブロック単位の訓練を解決。ブロック間通信なしで訓練可能で、メモリ負荷もはるかに少ない。

DiffusionBlocksは、Transformerに基づくネットワークを独立して訓練可能なブロックに分割し、残差ネットワークを離散化されたノイズ除去ステップと見なします。スコアマッチングを利用してブロックレベルの訓練を行い、ブロック間通信を必要とせず、訓練時のメモリ使用量を大幅に削減します。実験により、多くのアーキテクチャで有効であることが証明されており、推論段階では各ステップで1つのブロックのみを活性化し、12層のDiT（B=3）の計算量は元の約3分の1に低減されます。この方法は、ViT/DiT/MDM/AR Transformerなどに適用可能ですが、入力出力の次元が一致する必要があり、U-Netには使用できません。