$AMD 在软件方面持续取得进展


公司推出了vLLM-ATOM,这是一个旨在让主要的AI模型在$AMD Instinct GPU上运行得更好的插件,包括MI350和MI400
开发者可以继续使用相同的vLLM命令、API和工作流程,而ATOM在后台工作以提升AMD硬件的性能,无需新的工具或复杂的配置
它还为用户提供了对AMD最新优化的即时访问,包括在MI355X上的FP4支持、MI400上的机架级推理、融合注意力、自定义AllReduce以及其他内核改进
ATOM还充当创新沙箱,AMD可以在将新优化添加到主vLLM ROCm后端之前进行测试
查看原文
post-image
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论