O modelo ternário de 1,58 bits executado no Ascend 910B, com a memória reduzida para um sexto do BF16, ainda mantém mais de 95% de precisão, e a implantação de borda finalmente se tornou viável.

Ver original
MeNews
Primeiro grande modelo de código aberto de 1,58 bits baseado em treinamento de pilha completa com Huawei Ascend 910B NPU BitCPM-CANN lançado
BitCPM-CANN由ModelBest、清华与OpenBMB社区联合发布,全球首个在昇腾910B NPU上训练的开源1.58比特三元大模型。采用三态权重极低比特量化,内存较BF16缩减约6倍,适配手机、电脑、车载等边缘装置。训练栈全原生于昇腾,0.5B–8B家族在多项基准达到95–97%全精度性能,落地部署更具可行性。
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários