Трёхкомпонентная модель с 1,58 бит, запущенная на Ascend 910B, при сокращении памяти до одной шестой части BF16 всё ещё сохраняет более 95% точности, и внедрение на периферии наконец стало возможным.

Посмотреть Оригинал
MeNews
Первый полностью обученный открытый крупномасштабный модель BitCPM-CANN на базе Huawei Ascend 910B NPU с битностью 1.58 бита выпущена
BitCPM-CANN由ModelBest、清华与OpenBMB社区联合发布,全球首个在昇腾910B NPU上训练的开源1.58比特三元大模型。采用三态权重极低比特量化,内存较BF16缩减约6倍,适配手机、电脑、车载等边缘装置。训练栈全原生于昇腾,0.5B–8B家族在多项基准达到95–97%全精度性能,落地部署更具可行性。
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено