Le modèle triplet 1,58 bits exécuté sur Ascend 910B, avec une mémoire réduite à un sixième de BF16, peut toujours maintenir une précision de plus de 95 %, rendant enfin la déploiement en périphérie réalisable.

Voir l'original
MeNews
Le premier grand modèle open source de 1,58 bit basé sur la formation complète avec le NPU Ascend 910B de Huawei a été publié.
BitCPM-CANN est une publication conjointe de ModelBest, de Tsinghua et de la communauté OpenBMB, le premier modèle de grande taille trinaire open source de 1,58 bit entraîné sur le NPU Ascend 910B.
Il utilise une quantification à faible bit de poids en trois états, réduisant la mémoire d'environ 6 fois par rapport au BF16, adapté aux appareils edge tels que les téléphones mobiles, les ordinateurs et les véhicules.
La pile d'entraînement est entièrement native sur Ascend, la famille 0,5B–8B atteignant 95–97 % des performances en précision totale sur plusieurs benchmarks, rendant la déploiement plus réalisable.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé