Екосистема AMD нарешті отримала потужну дифузійну мовну модель, скільки обчислювальної потужності заощадила ця стратегія TiDAR

Переглянути оригінал
MeNews
Zyphra випустила першу дифузійну мовну модель екосистеми AMD, з максимальною швидкістю до 7,7 разів.
Zyphra випустила ZAYA1-8B-Diffusion-Preview, перетворюючи автогресивну велику мовну модель у гібридну експертну дифузійну модель, ставши першою дифузійною мовною моделлю, навченою в екосистемі обладнання AMD. За допомогою TiDAR пропускає попереднє навчання з нуля, одноразовим проходженням може одночасно видаляти шум з 16 токенів, перетворюючи обмеження пам’яті на обчислювальні обмеження. У реальних тестах при використанні уваги CCA + беззбиткової вибірки досягнуто прискорення у 4.6 рази, а при переключенні на гібридний логіт-генератор — до 7.7 разів.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено