ByteDance a enfin publié son modèle de langage diffusion, avec 23 milliards de paramètres pour la génération de texte dans l'espace latent, une approche assez audacieuse.

ByteDance Seed open source Cola DLM, est un modèle de diffusion de texte basé sur la couche sémantique potentielle.
Text VAE mappe le texte dans un espace latent continu, le DiT causal par bloc apprend la priorité latente via Flow Matching, et enfin le décodeur conditionnel restaure la variable latente en texte.
Le nombre total de paramètres est d'environ 2,3 milliards (DiT 1,8 milliard, VAE 500 millions).
Sur 8 évaluations, il rivalise avec les lignes de base AR/LLaDA de même taille et se classe en tête, mais reste un point de contrôle de recherche, sans fine-tuning d'instructions ni RLHF, le dépôt actuel ne contient que la pipeline de texte, avec une extension future possible vers le texte-image.