Zyphra lanza el primer modelo de lenguaje de difusión en el ecosistema AMD, con una aceleración máxima de 7.7 veces

AIMPACT Noticias, 15 de mayo (UTC+8), según la monitorización de Dongcha Beating, Zyphra lanzó el modelo de difusión híbrido experto (MoE) ZAYA1-8B-Diffusion-Preview, transformado a partir de un gran modelo de lenguaje autoregresivo. Aunque en la promoción oficial se autodenominan como el "primer" modelo en realizar esta conversión de arquitectura, esta línea ya fue implementada por los equipos de SDAR y LLaDA 2.0 a finales del año pasado. La verdadera singularidad de ZAYA1 radica en que es el primer modelo de lenguaje de difusión entrenado en el ecosistema de hardware AMD.

Dejando de lado el discurso de marketing, este modelo sigue demostrando el valor de eficiencia en ingeniería de la arquitectura de difusión. Los modelos autoregresivos tradicionales están limitados por la generación secuencial palabra por palabra, y acumular caché KV puede llevar la velocidad de generación a límites físicos. Como reveló recientemente el equipo de He Kaiming con el modelo de difusión pura ELF, la tendencia de la industria apunta a que la eliminación paralela de ruido es clave para romper esta barrera.

ZAYA1 utiliza el esquema TiDAR para saltarse el entrenamiento desde cero, permitiendo en una sola pasada hacia adelante eliminar el ruido de 16 candidatos de tokens simultáneamente, transformando completamente el cuello de botella del ancho de banda de memoria de la GPU en un cuello de botella de potencia computacional.

Las pruebas muestran que, combinando ZAYA1 con el mecanismo de atención CCA exclusivo, el uso de un muestreador sin pérdida estándar puede lograr una aceleración de 4.6 veces sin reducir la calidad de generación. Al cambiar a un muestreador de logit híbrido, la aceleración aumenta a 7.7 veces, proporcionando un ahorro de costos sustancial en tareas de inferencia a gran escala que requieren mucho tiempo.

(Fuente: BlockBeats)