ByteDance akhirnya merilis model bahasa penyebaran, 23B parameter melakukan generasi teks di ruang laten, ide nya cukup berani.

ByteDance Seed open-source Cola DLM, adalah sebuah model yang melakukan penyebaran teks di tingkat semantik potensial. Text VAE memetakan teks ke ruang potensial kontinu, block-causal DiT mempelajari prior potensial melalui Flow Matching, dan akhirnya decoder kondisi mengembalikan variabel potensial menjadi teks. Jumlah parameter sekitar 2,3 miliar (DiT 1,8 miliar, VAE 500 juta). Dalam 8 evaluasi, bersaing dan berada di depan baseline AR/LLaDA dengan skala yang sama, tetapi masih merupakan checkpoint penelitian, belum melalui fine-tuning instruksi atau RLHF, repositori saat ini hanya berisi pipeline teks, dan di masa depan mungkin akan diperluas ke teks-gambar.