Model ternary 1.58bit yang dijalankan di Ascend 910B, dengan memori dipotong menjadi sepertiga dari BF16, masih dapat mempertahankan akurasi di atas 95%, akhirnya implementasi di edge deployment dapat terwujud

Lihat Asli
MeNews
Model besar sumber terbuka BitCPM-CANN pertama yang dilatih secara lengkap berbasis NPU Huawei Ascend 910B dengan 1.58 bit dirilis
BitCPM-CANN oleh ModelBest, komunitas Tsinghua, dan OpenBMB dirilis secara bersama-sama, merupakan model besar tiga nilai 1.58 bit sumber terbuka pertama yang dilatih di atas Ascend 910B NPU di seluruh dunia. Menggunakan kuantisasi bobot tiga status dengan bit yang sangat rendah, mengurangi memori sekitar 6 kali lipat dibandingkan BF16, cocok untuk perangkat edge seperti ponsel, komputer, dan kendaraan. Tumpukan pelatihan sepenuhnya asli di Ascend, keluarga 0.5B–8B mencapai 95–97% kinerja presisi penuh pada berbagai benchmark, membuat penerapan lebih praktis.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan