Трьохкомпонентна модель 1.58 біт, запущена на Ascend 910B, зменшення пам’яті до шостини BF16 все ще зберігає понад 95% точності, і впровадження на краю нарешті стало можливим.

Переглянути оригінал
MeNews
Перший у світі відкритий великий модельний проект BitCPM-CANN, навчений повним стеком на базі Huawei Ascend 910B NPU, випущено з розміром 1.58 біт
BitCPM-CANN由ModelBest、清華與OpenBMB社群聯合發布,全球首個在昇騰910B NPU上訓練的開源1.58比特三元大模型。採用三態權重極低比特量化,內存較BF16縮減約6倍,適配手機、電腦、車載等邊緣裝置。訓練棧全原生於昇騰,0.5B–8B家族在多項基準達到95–97%全精度性能,落地部署更具可行性。
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено