寒武纪 concluiu a adaptação do DeepSeek-V4, código foi aberto (open-source), impulsionando as ações de chips nacionais.

robot
Geração do resumo em andamento

ME News 消息,4 月 24 日(UTC+8),据 动察 Beating 监测,寒武纪宣布已在 V4 发布当天完成 285B DeepSeek-V4-Flash 和 1.6T DeepSeek-V4-Pro 两款模型的适配,基于 vLLM 推理框架,适配代码已开源至 GitHub。 Notícias ME News, 24 de abril (UTC+8), de acordo com o monitoramento do Dongcha Beating, a Cambricon anunciou que completou a adaptação dos dois modelos DeepSeek-V4-Flash de 285B e DeepSeek-V4-Pro de 1.6T no dia do lançamento do V4, com base no framework de inferência vLLM, e o código de adaptação foi aberto no GitHub.

适配速度依赖两个前提:一是寒武纪自研 NeuWare 软件栈原生支持 PyTorch、vLLM 等主流框架,模型可快速迁移;二是寒武纪芯片原生支持主流低精度数据格式,无需额外格式转换即可完成精度验证。针对 V4 的新结构,寒武纪通过自研融合算子库 Torch-MLU-Ops,对 Compressor、mHC 等模块做了专项加速,并用 BangC 编写了稀疏/压缩 Attention、GroupGemm 等热点算子内核。 A velocidade de adaptação depende de duas premissas: primeiro, a pilha de software NeuWare desenvolvida pela Cambricon suporta nativamente frameworks principais como PyTorch e vLLM, permitindo rápida migração dos modelos; segundo, os chips da Cambricon suportam nativamente formatos de dados de baixa precisão comuns, sem necessidade de conversão de formato adicional para verificação de precisão. Para a nova estrutura do V4, a Cambricon, através de sua biblioteca de operadores fundidos Torch-MLU-Ops, acelerou especificamente módulos como Compressor e mHC, e escreveu kernels de operadores críticos como Attention esparsa/comprimida e GroupGemm usando BangC.

在推理框架层面,寒武纪在 vLLM 中支持 TP/PP/SP/DP/EP 五维混合并行、通信计算并行、低精度量化和 PD 分离部署。V4 技术报告仅提及了在 NVIDIA GPU 和华为昇腾 NPU 上的验证,未涉及寒武纪平台,此次适配由寒武纪自主完成。受 V4 发布消息刺激,A 股国产芯片板块走强,寒武纪盘中直线拉升。 No nível do framework de inferência, a Cambricon oferece suporte no vLLM para paralelismo misto em cinco dimensões (TP/PP/SP/DP/EP), paralelismo de comunicação e computação, quantização de baixa precisão e implantação separada PD. O relatório técnico do V4 mencionou apenas a verificação em GPUs NVIDIA e NPU Huawei Ascend, sem envolver a plataforma Cambricon; esta adaptação foi concluída de forma independente pela Cambricon. Estimulado pela notícia do lançamento do V4, o setor nacional de chips no mercado de ações A se fortaleceu, e as ações da Cambricon subiram verticalmente durante o pregão.

(来源:BlockBeats) (Fonte: BlockBeats)

Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado