A ByteDance finalmente lançou o modelo de linguagem difusa, com 23B de parâmetros a fazer geração de texto no espaço latente, uma abordagem bastante ousada.

O Seed open source da ByteDance, Cola DLM, é um modelo que realiza difusão de texto em uma camada de semântica potencial.
O Text VAE mapeia o texto para um espaço latente contínuo, o DiT causal por bloco aprende a priori latente através de Flow Matching, e por fim, o decodificador condicional reconstrói as variáveis latentes em texto.
O total de parâmetros é aproximadamente 2,3 bilhões (DiT 1,8 bilhões, VAE 500 milhões).
Em 8 avaliações, compete com as linhas de base AR/LLaDA de mesma escala e fica na frente, mas ainda é um ponto de verificação de pesquisa, sem ajuste fino por instruções ou RLHF, o repositório atual contém apenas pipeline de texto, e futuramente pode ser expandido para texto-imagem.