寒武纪完成DeepSeek-V4适配,代码已开源,带动国产芯片股走强

robot
摘要生成中

据动察 Beating 监测,寒武纪宣布已在 V4 发布当天完成 285B DeepSeek-V4-Flash 和 1.6T DeepSeek-V4-Pro 两款模型的适配,基于 vLLM 推理框架,适配代码已开源至 GitHub。

适配速度依赖两个前提:一是寒武纪自研 NeuWare 软件栈原生支持 PyTorch、vLLM 等主流框架,模型可快速迁移;二是寒武纪芯片原生支持主流低精度数据格式,无需额外格式转换即可完成精度验证。针对 V4 的新结构,寒武纪通过自研融合算子库 Torch-MLU-Ops,对 Compressor、mHC 等模块做了专项加速,并用 BangC 编写了稀疏/压缩 Attention、GroupGemm 等热点算子内核。

在推理框架层面,寒武纪在 vLLM 中支持 TP/PP/SP/DP/EP 五维混合并行、通信计算并行、低精度量化和 PD 分离部署。V4 技术报告仅提及了在 NVIDIA GPU 和华为昇腾 NPU 上的验证,未涉及寒武纪平台,此次适配由寒武纪自主完成。受 V4 发布消息刺激,A 股国产芯片板块走强,寒武纪盘中直线拉升。

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论