Cola DLM insere o texto no espaço latente contínuo e depois realiza a difusão, a arquitetura Flow Matching+DiT é muito Byte — forte sabor de engenharia, mas sem SFT nem RLHF no checkpoint bruto, agora é só um brinquedo de pesquisa, esperando a pipeline multimodal sair para ver se consegue competir.

O Seed open source da ByteDance Cola DLM é um modelo que realiza difusão de texto em uma camada de significado potencial.
O Text VAE mapeia o texto para um espaço latente contínuo,
o block-causal DiT aprende a priori latente através de Flow Matching,
por fim, o decodificador condicional reconstrói as variáveis latentes em texto.
O total de parâmetros é de aproximadamente 2,3 bilhões (DiT 1,8 bilhão, VAE 500 milhões).
Em 8 avaliações, compete com as linhas de base AR/LLaDA de mesma escala e fica na frente,
mas ainda é um ponto de verificação de pesquisa, sem ajuste fino por instruções ou RLHF,
o repositório atual contém apenas a pipeline de texto,
no futuro, pode ser expandido para texto-imagem.