PrismML meluncurkan model 1.58-bit Ternary Bonsai, pengurangan parameter 9 kali lipat, kecerdasan melampaui sejenisnya

robot
Pembuatan abstrak sedang berlangsung
ME News Berita, 17 April (UTC+8), menurut pemantauan Beating dari Dongcha, PrismML merilis model bahasa seri Ternary Bonsai, menggunakan teknologi bobot ternary 1,58 bit (), yang mengurangi penggunaan memori model hingga seper sembilan dari model 16 bit sambil mempertahankan kinerja tinggi. Seri ini mencakup tiga ukuran parameter yaitu 8B, 4B, dan 1,7B, dan saat ini telah dirilis secara terbuka di Hugging Face serta mendukung menjalankan secara native di perangkat Apple.
Model 1,58 bit yang dimaksud adalah membatasi bobot jaringan neural pada tiga nilai {-1, 0, +1}. Dibandingkan dengan model 1 bit sebelumnya yang berfokus pada kompresi ekstrem (bobot hanya {-1, +1}), pengenalan nilai "0" dapat secara efektif menghilangkan koneksi redundan, memungkinkan model mempertahankan kemampuan inferensi yang kompleks dalam ukuran yang sangat kecil.
File bobot 8B dari Ternary Bonsai yang dirilis kali ini hanya berukuran 1,75 GB, dengan skor pengujian rata-rata mencapai 75,5, yang tidak hanya 5 poin lebih tinggi dari versi 1 bit mereka sendiri, tetapi juga secara signifikan unggul dalam "efisiensi energi" (kinerja yang kontribusinya per GB memori) dibandingkan model densitas serupa seperti Qwen3.
Rasio efisiensi energi dan kecepatan operasi adalah keunggulan utama lainnya dari seri ini. Di iPhone 17 Pro Max, versi 8B dapat berjalan dengan kecepatan hingga 27 tok/s, meningkatkan rasio efisiensi energi sekitar 3 hingga 4 kali.
Ini berarti bagi pengembang yang perlu menerapkan AI berkinerja tinggi di perangkat seperti ponsel dan laptop, mereka dapat memperoleh performa cerdas yang mendekati model lengkap dengan biaya memori yang sangat kecil.
Saat ini, model Ternary Bonsai telah mendukung secara native di perangkat Apple melalui kerangka kerja MLX. Bobot model didistribusikan di bawah lisensi Apache 2.0.
(Sumber: BlockBeats)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 8
  • 12
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
GateUser-44dde53b
· 13jam yang lalu
Efisiensi energi meningkat 3-4 kali lipat, tekanan daya tahan baterai iPhone generasi ini bisa sedikit berkurang.
Lihat AsliBalas0
Neon-LitStreetsAfterTheRain
· 13jam yang lalu
Data pengujian nyata iPhone 17 Pro Max ditampilkan, jauh lebih banyak daripada di PPT
Lihat AsliBalas0
NeonFusionIceCream
· 13jam yang lalu
{-1,0,+1} bobot tiga nilai, diquantisasi secara maksimal tetap bisa mempertahankan skor 75.5, kemampuan engineering bisa
Lihat AsliBalas0
TreatMemesAsBeliefs
· 13jam yang lalu
Penyesuaian kerangka kerja MLX penjelasan ekosistem Apple semakin dalam dalam penataan AI
Lihat AsliBalas0
QuantizedDaydream
· 13jam yang lalu
Lisensi Apache 2.0 mendapatkan pujian, kerjasama bisnis yang ramah adalah kunci untuk berkembang
Lihat AsliBalas0
HaiyanColdWallet
· 13jam yang lalu
Hugging Face telah dirilis sebagai sumber terbuka, coba versi 4B akhir pekan ini
Lihat AsliBalas0
GlassBottleFeather
· 13jam yang lalu
Perangkat Apple menjalankan model 8B secara native, kecepatan 27 tok/s ini bisa digunakan di ponsel
Lihat AsliBalas0
NeonMint
· 13jam yang lalu
1.58 bit terlalu kejam, memori langsung dipotong menjadi 1/9, rasio kompresinya saya mengakui
Lihat AsliBalas0
  • Disematkan