$AMD продовжує досягати прогресу у розробці програмного забезпечення


Компанія представила vLLM-ATOM, плагін, створений для покращення роботи основних моделей штучного інтелекту на GPU $AMD Instinct, включаючи MI350 та MI400
Розробники можуть продовжувати використовувати ті ж команди vLLM, API та робочі процеси, тоді як ATOM працює у фоновому режимі для покращення продуктивності на апаратному забезпеченні AMD, не вимагаючи нових інструментів або складних налаштувань
Він також надає користувачам миттєвий доступ до останніх оптимізацій AMD, включаючи підтримку FP4 на MI355X, інференс у масштабі стійки на MI400, злиту увагу, налаштування AllReduce та інші покращення ядра
ATOM також виступає як пісочниця для інновацій, де AMD може тестувати нові оптимізації перед їхнім додаванням до основного бекенду vLLM ROCm
Переглянути оригінал
post-image
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріпити