Cola DLM memasukkan teks ke dalam ruang tersembunyi kontinu lalu menyebar, pilihan arsitektur Flow Matching+DiT sangat khas Byte—rasa engineering yang kuat, tapi tanpa SFT tanpa RLHF dari checkpoint mentah, sekarang hanya sebatas mainan riset, tunggu pipeline multimodal keluar untuk melihat apakah bisa bersaing.

ByteDance Seed open-source Cola DLM, adalah sebuah model yang melakukan penyebaran teks di tingkat makna potensial. Text VAE memetakan teks ke ruang potensial kontinu, block-causal DiT mempelajari prior potensial melalui Flow Matching, dan akhirnya decoder kondisi mengembalikan variabel potensial menjadi teks. Jumlah parameter sekitar 2,3 miliar (DiT 1,8 miliar, VAE 500 juta). Dalam 8 evaluasi, bersaing dan berada di depan baseline AR/LLaDA dengan skala yang sama, tetapi tetap merupakan checkpoint penelitian, belum melalui fine-tuning instruksi atau RLHF, repositori saat ini hanya berisi pipeline teks, dan di masa depan mungkin akan diperluas ke teks-gambar.