Cambricon concluiu a adaptação do DeepSeek-V4, o código foi aberto, impulsionando as ações de chips nacionais.

robot
Geração de resumo em curso
ME News 消息,4 月 24 日(UTC+8),据 动察 Beating 监测,寒武纪宣布已在 V4 发布当天完成 285B DeepSeek-V4-Flash 和 1.6T DeepSeek-V4-Pro 两款模型的适配,基于 vLLM 推理框架,适配代码已开源至 GitHub。
A velocidade de adaptação depende de duas premissas: primeiro, a stack de software NeuWare auto-desenvolvida pela Cambricon suporta nativamente frameworks principais como PyTorch, vLLM, etc., permitindo rápida migração do modelo; segundo, os chips da Cambricon suportam nativamente formatos de dados de baixa precisão principais, sem necessidade de conversão adicional de formato para completar a verificação de precisão.
Para a nova estrutura do V4, a Cambricon, através da sua biblioteca de operadores fusionados auto-desenvolvida Torch-MLU-Ops, fez aceleração especializada em módulos como Compressor, mHC, etc., e escreveu em BangC os núcleos de operadores populares como Attention esparsa/comprimida, GroupGemm, etc.
Ao nível do framework de inferência, a Cambricon suporta no vLLM o paralelismo híbrido de cinco dimensões TP/PP/SP/DP/EP, paralelismo de comunicação e computação, quantização de baixa precisão e implementação separada de PD.
O relatório técnico do V4 mencionou apenas a validação em GPU NVIDIA e NPU Huawei Ascend, sem envolver a plataforma Cambricon; esta adaptação foi concluída de forma independente pela Cambricon.
Estimulado pela notícia do lançamento do V4, o setor de chips nacionais das ações A fortaleceu-se, com a Cambricon a subir abruptamente durante a negociação.
(来源:BlockBeats)
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado