$AMD продолжает прогрессировать в разработке программного обеспечения


Компания представила vLLM-ATOM, плагин, предназначенный для улучшения работы крупных моделей ИИ на GPU $AMD Instinct, включая MI350 и MI400
Разработчики могут продолжать использовать те же команды vLLM, API и рабочие процессы, в то время как ATOM работает в фоновом режиме, повышая производительность на оборудовании AMD, не требуя новых инструментов или сложных настроек
Он также предоставляет пользователям мгновенный доступ к последним оптимизациям AMD, включая поддержку FP4 на MI355X, инференс в масштабе стойки на MI400, объединённое внимание, пользовательский AllReduce и другие улучшения ядра
ATOM также служит в качестве песочницы инноваций, где AMD может тестировать новые оптимизации перед их последующим добавлением в основной ROCm-движок vLLM
Посмотреть Оригинал
post-image
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить