$AMD continúa avanzando en el software


La compañía presentó vLLM-ATOM, un plugin diseñado para hacer que los principales modelos de IA funcionen mejor en las GPU $AMD Instinct, incluyendo MI350 y MI400
Los desarrolladores pueden seguir usando los mismos comandos, APIs y flujos de trabajo de vLLM, mientras que ATOM trabaja en segundo plano para mejorar el rendimiento en hardware AMD, sin necesidad de nuevas herramientas o configuraciones complejas
También ofrece a los usuarios acceso instantáneo a las últimas optimizaciones de AMD, incluyendo soporte FP4 en MI355X, inferencia a escala de rack en MI400, atención fusionada, AllReduce personalizado y otras mejoras en el núcleo
ATOM también actúa como un sandbox de innovación, donde AMD puede probar nuevas optimizaciones antes de que se agreguen posteriormente al backend principal de vLLM ROCm
Ver original
post-image
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Anclado