$AMD continua fazendo progresso no software


A empresa apresentou o vLLM-ATOM, um plugin projetado para fazer os principais modelos de IA funcionarem melhor em GPUs $AMD Instinct, incluindo MI350 e MI400
Os desenvolvedores podem continuar usando os mesmos comandos, APIs e fluxos de trabalho do vLLM, enquanto o ATOM trabalha em segundo plano para melhorar o desempenho no hardware AMD, sem necessidade de novas ferramentas ou configurações complexas
Ele também oferece aos usuários acesso instantâneo às últimas otimizações da AMD, incluindo suporte a FP4 no MI355X, inferência em escala de rack no MI400, atenção fundida, AllReduce personalizado e outras melhorias de kernel
O ATOM também atua como um sandbox de inovação, onde a AMD pode testar novas otimizações antes de serem posteriormente adicionadas ao backend principal do vLLM ROCm
Ver original
post-image
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado