ByteDance finally released their diffusion language model, with 23B parameters performing text generation in the latent space, which is quite an innovative approach.

ByteDance SeedオープンソースのCola DLMは、潜在意味層でテキスト拡散を行うモデルです。Text VAEはテキストを連続潜在空間にマッピングし、block-causal DiTはFlow Matchingを通じて潜在先验を学習し、最終的に条件デコーダーが潜在変数をテキストに復元します。総パラメータは約23億（DiT 18億、VAE 5億）。8つの評価項目で同規模のAR/LLaDAベースラインと競合し、上位に位置していますが、まだ研究用のチェックポイントであり、指令微調整やRLHFは行われていません。現在のリポジトリにはテキストパイプラインのみが含まれ、将来的にはテキストと画像への拡張も検討されています。