A ByteDance finalmente lançou o modelo de linguagem difuso, com 23 bilhões de parâmetros, realizando geração de texto no espaço latente, uma abordagem bastante ousada.

O Seed open source da ByteDance Cola DLM é um modelo que realiza difusão de texto em uma camada de significado potencial.
O Text VAE mapeia o texto para um espaço latente contínuo, o DiT causal em bloco aprende a priori latente através de Flow Matching, e finalmente o decodificador condicional reconstrói as variáveis latentes em texto.
O total de parâmetros é de aproximadamente 2,3 bilhões (DiT 1,8 bilhão, VAE 500 milhões).
Em 8 avaliações, compete e fica na frente de linhas de base AR/LLaDA de escala semelhante, mas ainda é um ponto de verificação de pesquisa, sem ajuste fino por instruções ou RLHF, o repositório atual contém apenas pipeline de texto, e futuramente pode ser expandido para texto-imagem.