SonicMoE достигает пиковой пропускной способности на графическом процессоре NVIDIA Blackwell.

robot
Генерация тезисов в процессе
ME News сообщает, что 23 апреля (UTC+8) SonicMoE объявил о возможности достижения пиковой пропускной способности на графических процессорах NVIDIA Blackwell. Согласно предоставленным данным, производительность TFLOPS прямой и обратной передачи этой модели на 54% и 35% выше, чем у эталона DeepGEMM, а производительность TFLOPS прямой передачи на 21% выше, чем у официального примера triton. При этом SonicMoE сохраняет минимальное использование активной памяти, такое же, как у плотной модели. (Источник: InFoQ)
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено