Zyphra выпустила первый диффузионный языковой модель в экосистеме AMD, достигнув максимального ускорения в 7,7 раза

AIMPACT сообщение, 15 мая (UTC+8), согласно мониторингу 动察 Beating, Zyphra выпустила гибридную экспертную (MoE) диффузионную модель ZAYA1-8B-Diffusion-Preview, основанную на автогрессивной большой языковой модели. Хотя в официальной рекламе заявлено, что это «первая» модель, реализующая такую архитектуру, данный подход был впервые реализован командами SDAR и LLaDA 2.0 в конце прошлого года. Единственная уникальная характеристика ZAYA1 заключается в том, что это первая диффузионная языковая модель, обученная в экосистеме аппаратного обеспечения AMD.

Отделяя маркетинговые слова, эта модель всё равно подтверждает эффективность инженерных решений архитектуры диффузии. Традиционные автогрессивные модели ограничены последовательным по символам генерацией, накопление кеша KV приводит скорость генерации к физическому пределу. Как недавно показала команда Хэ Кайминга с их чистой диффузионной моделью ELF, параллельное удаление шума — ключ к преодолению этого узкого места. ZAYA1 использует схему TiDAR, пропуская этап предварительного обучения с нуля, и за один проход может одновременно удалять шум из 16 кандидатных токенов, полностью превращая узкое место по пропускной способности видеопамяти в узкое место по вычислительным мощностям.

Практические тесты показали, что в сочетании с эксклюзивной механизмом внимания CCA для ZAYA1, использование стандартного без потерь сэмплера позволяет достичь ускорения в 4,6 раза без снижения качества генерации. Переключение на гибридный логит-сэмплер увеличило ускорение до 7,7 раз, что обеспечивает существенную экономию при выполнении ресурсоемких задач масштабного вывода.
(Источник: BlockBeats)