昇腾910B上跑出来的1.58bit三元模型,内存砍到BF16的六分之一还能保持95%以上精度,边缘部署终于能落地了

MeNews
最初の華為昇腾910B NPU全スタックトレーニングに基づく1.58ビットのオープンソース大規模モデルBitCPM-CANNがリリースされました
BitCPM-CANNはModelBest、清華、OpenBMBコミュニティの共同リリースであり、昇騰910B NPU上で訓練された世界初のオープンソース1.58ビット三元大規模モデルです。三態重みの極低ビット量子化を採用し、メモリはBF16と比較して約6倍削減され、スマートフォン、コンピュータ、車載などのエッジデバイスに適しています。訓練スタックは昇騰上で完全にネイティブに構築されており、0.5B〜8Bファミリーは複数のベンチマークで95〜97%のフル精度性能を達成し、実用展開の可能性が高まっています。
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし
  • ピン留め