SonicMoE досягає пікової пропускної здатності на NVIDIA Blackwell GPU.

robot
Генерація анотацій у процесі
ME News повідомляє, 23 квітня (UTC+8), SonicMoE оголосив про можливість роботи з піковою пропускною здатністю на графічних процесорах NVIDIA Blackwell. Згідно з наданими даними, продуктивність TFLOPS прямого та зворотного поширення цієї моделі перевищує базовий рівень DeepGEMM на 54% та 35% відповідно, а продуктивність TFLOPS прямого поширення на 21% вища, ніж в офіційному прикладі triton. Водночас SonicMoE зберігає мінімальне використання активної пам'яті, таке ж, як у щільних моделях. (Джерело: InFoQ)
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено