Byte finalmente lanzó el modelo de lenguaje difuso, con 23 mil millones de parámetros haciendo generación de texto en el espacio latente, la idea es bastante audaz.

ByteDance Seed de código abierto Cola DLM, es un modelo que realiza difusión de texto en una capa de semántica potencial.
Text VAE mapea el texto al espacio latente continuo,
block-causal DiT aprende la priorización latente mediante Flow Matching,
finalmente, el decodificador condicional restaura las variables latentes en texto.
El total de parámetros es aproximadamente 2.3 mil millones (DiT 1.8 mil millones, VAE 500 millones).
En 8 evaluaciones, compite y se posiciona entre los primeros con la línea base AR/LLaDA de escala similar,
pero sigue siendo un punto de control de investigación, sin ajuste fino por instrucciones ni RLHF,
el repositorio actual solo contiene la línea de texto, y en el futuro podría extenderse a texto-imagen.