$AMD continue de progresser sur le logiciel


L'entreprise a présenté vLLM-ATOM, un plugin conçu pour faire fonctionner de manière optimale les principaux modèles d'IA sur les GPU $AMD Instinct, y compris MI350 et MI400
Les développeurs peuvent continuer à utiliser les mêmes commandes vLLM, API et flux de travail, tandis qu'ATOM fonctionne en arrière-plan pour améliorer les performances sur le matériel AMD, sans nécessiter de nouveaux outils ou configurations complexes
Il donne également aux utilisateurs un accès instantané aux dernières optimisations d'AMD, y compris la prise en charge de FP4 sur MI355X, l'inférence à l'échelle du rack sur MI400, l'attention fusionnée, l'AllReduce personnalisé et d'autres améliorations du noyau
ATOM agit également comme un bac à sable d'innovation, où AMD peut tester de nouvelles optimisations avant qu'elles ne soient ultérieurement intégrées au backend principal vLLM ROCm
Voir l'original
post-image
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épingler