昇腾910B上跑出来的1.58bit三元模型,内存砍到BF16的六分之一还能保持95%以上精度,边缘部署终于能落地了

ME News
首个基于华为昇腾910B NPU全栈训练的1.58比特开源大模型BitCPM-CANN发布
BitCPM-CANN由ModelBest、清华与OpenBMB社区联合发布,全球首个在昇腾910B NPU上训练的开源1.58比特三元大模型。采用三态权重极低比特量化,内存较BF16缩减约6倍,适配手机、电脑、车载等边缘装置。训练栈全原生于昇腾,0.5B–8B家族在多项基准达到95–97%全精度性能,落地部署更具可行性。
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论