$AMD continua a fazer progressos no software


A empresa apresentou o vLLM-ATOM, um plugin projetado para fazer os principais modelos de IA funcionarem melhor nas GPUs $AMD Instinct, incluindo MI350 e MI400
Os desenvolvedores podem continuar a usar os mesmos comandos vLLM, APIs e fluxos de trabalho, enquanto o ATOM trabalha em segundo plano para melhorar o desempenho em hardware AMD, sem necessidade de novas ferramentas ou configurações complexas
Também oferece aos utilizadores acesso instantâneo às últimas otimizações da AMD, incluindo suporte FP4 no MI355X, inferência em escala de rack no MI400, atenção fundida, AllReduce personalizado e outras melhorias de kernel
O ATOM também funciona como um espaço de inovação, onde a AMD pode testar novas otimizações antes de serem posteriormente adicionadas ao backend principal vLLM ROCm
Ver original
post-image
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixar