AMDエコシステム初の拡散型言語モデル、TiDARは直接事前学習をスキップし、16トークン並列デノイジングというアプローチはかなり攻めている、GPUメモリから計算能力へのボトルネックの操作は学びになった。

ZyphraがZAYA1-8B-Diffusion-Previewをリリースし、自己回帰型大規模言語モデルをハイブリッドエキスパート拡散モデルに変換し、AMDハードウェアエコシステム内で訓練された最初の拡散言語モデルとなった。TiDARを通じてゼロからの事前訓練をスキップし、単一の前方パスで16トークンを同時にノイズ除去でき、GPUメモリのボトルネックを計算能力のボトルネックに変換した。実測では、CCAアテンション＋ロスレスサンプリングで4.6倍の高速化を達成し、ハイブリッドロジットサンプラーに切り替えると7.7倍に向上した。