El primer modelo de lenguaje de difusión en el ecosistema AMD, TiDAR, omite directamente el preentrenamiento, y la idea de eliminar ruido en paralelo con 16 tokens es bastante audaz, aprendí que la operación de convertir memoria de video en potencia de cálculo es un cuello de botella.

Zyphra lanza ZAYA1-8B-Diffusion-Preview, que convierte el gran modelo de lenguaje autoregresivo en un modelo de difusión de expertos híbridos, convirtiéndose en el primer modelo de difusión de lenguaje entrenado en el ecosistema de hardware AMD. A través de TiDAR, se evita el preentrenamiento desde cero, permitiendo eliminar 16 tokens simultáneamente en una sola pasada, transformando el cuello de botella de memoria de video en un cuello de botella de potencia de cálculo. Las pruebas muestran una aceleración de 4.6x con atención CCA + muestreo sin pérdida, y hasta 7.7x al cambiar al muestreador de logits híbridos.