Cambrige a terminé l'adaptation de DeepSeek-V4, le code est désormais open source, stimulant la hausse des actions des fabricants de puces nationales

robot
Création du résumé en cours

Selon le suivi Beating, Cambricon a annoncé avoir terminé l’adaptation des deux modèles DeepSeek-V4-Flash 285B et DeepSeek-V4-Pro 1.6T le jour de la sortie de V4, basé sur le cadre d’inférence vLLM, le code d’adaptation étant open source sur GitHub.

La vitesse d’adaptation dépend de deux prérequis : d’une part, le stack logiciel NeuWARE développé en interne par Cambricon supporte nativement PyTorch, vLLM et d’autres cadres principaux, permettant une migration rapide des modèles ; d’autre part, la puce Cambricon supporte nativement les formats de données à faible précision, sans nécessiter de conversion de format supplémentaire pour la validation de précision. Pour la nouvelle architecture V4, Cambricon a accéléré des modules tels que Compressor et mHC via sa bibliothèque d’opérateurs fusionnés Torch-MLU-Ops, et a écrit des kernels d’opérateurs chauds comme Attention sparse/compressée et GroupGemm en BangC.

Au niveau du cadre d’inférence, Cambricon supporte dans vLLM le parallélisme hybride à cinq dimensions TP/PP/SP/DP/EP, le parallélisme de communication et de calcul, la quantification à faible précision et le déploiement séparé PD. Le rapport technique V4 mentionne uniquement la validation sur GPU NVIDIA et NPU Huawei Ascend, sans faire référence à la plateforme Cambricon ; cette adaptation a été réalisée entièrement par Cambricon. Stimuli par l’annonce de la sortie de V4, le secteur des puces nationales A-share a connu une forte hausse, Cambricon ayant connu une montée en flèche en cours de séance.

Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épingler