ZAYA1-8Bこのアーキテクチャはちょっと面白いです。自己回帰からMoE拡散に変更し、単一の前向きノイズ除去で16トークンを処理できるようになり、7.7倍の高速化はまさにVRAMの圧力を計算能力の圧迫に変えたと言えます。

ZyphraがZAYA1-8B-Diffusion-Previewをリリースし、自己回帰型大規模言語モデルをハイブリッドエキスパート拡散モデルに変換し、AMDハードウェアエコシステム内で訓練された最初の拡散言語モデルとなった。TiDARを通じてゼロからの事前訓練をスキップし、単一の前方パスで16トークンを同時にノイズ除去できるようにし、GPUメモリのボトルネックを計算能力のボトルネックに変換した。実測では、CCAアテンション＋ロスレスサンプリングで4.6倍の高速化を達成し、ハイブリッドロジットサンプラーに切り替えると7.7倍に向上した。