Cambricon menyelesaikan adaptasi DeepSeek-V4, kode telah open source, mendorong saham chip domestik menguat.

robot
Pembuatan abstrak sedang berlangsung
ME News 消息,4 月 24 日(UTC+8),据 动察 Beating 监测,寒武纪宣布已在 V4 发布当天完成 285B DeepSeek-V4-Flash 和 1.6T DeepSeek-V4-Pro 两款模型的适配,基于 vLLM 推理框架,适配代码已开源至 GitHub。 适配速度依赖两个前提:一是寒武纪自研 NeuWare 软件栈原生支持 PyTorch、vLLM 等主流框架,模型可快速迁移;二是寒武纪芯片原生支持主流低精度数据格式,无需额外格式转换即可完成精度验证。针对 V4 的新结构,寒武纪通过自研融合算子库 Torch-MLU-Ops,对 Compressor、mHC 等模块做了专项加速,并用 BangC 编写了稀疏/压缩 Attention、GroupGemm 等热点算子内核。 在推理框架层面,寒武纪在 vLLM 中支持 TP/PP/SP/DP/EP 五维混合并行、通信计算并行、低精度量化和 PD 分离部署。V4 技术报告仅提及了在 NVIDIA GPU 和华为昇腾 NPU 上的验证,未涉及寒武纪平台,此次适配由寒武纪自主完成。受 V4 发布消息刺激,A 股国产芯片板块走强,寒武纪盘中直线拉升。 (来源:BlockBeats)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan