Caltech Rilis Model True 1-Bit Open Source Bonsai: 8M Parameter hanya dengan 1.15GB, Capai 44 Token/detik di iPhone

Menurut 1M AI News, lab AI PrismML, yang didirikan bersama oleh matematikawan Caltech Babak Hassibi, telah keluar dari mode sembunyi-sembunyi dan merilis rangkaian model bahasa open-source 1-bit Bonsai. Model unggulannya, 1-bit Bonsai 8B, memiliki 8,2 miliar parameter dan hanya memerlukan 1,15 GB memori, yang kira-kira 14 kali lebih terkompres dibandingkan model 16-bit yang sebanding (sekitar 16 GB). Bobot tersedia untuk diunduh di bawah lisensi Apache 2.0 di HuggingFace, bersama dua model yang lebih kecil: 4B (0,5 GB) dan 1,7B (0,24 GB). Bonsai 8B adalah model 1-bit end-to-end yang sebenarnya: lapisan embedding, lapisan attention, lapisan MLP, dan output head semuanya merepresentasikan bobot menggunakan hanya +1 atau -1, tanpa ada patch berpresisi tinggi. PrismML mengklaim kemampuan inferensi dan pemahaman bahasanya pada benchmark standar sebanding dengan model penuh presisi 16-bit. Inti matematika kompresi dikembangkan oleh tim selama beberapa tahun di Caltech, dengan hak kekayaan intelektual dimiliki oleh Caltech, sehingga PrismML menjadi satu-satunya penerima lisensi eksklusif. Model dilatih menggunakan Google v4 TPU. Kecepatan yang diukur mencakup 136 token/detik pada M4 Pro Mac, 440 token/detik pada RTX 4090, dan sekitar 44 token/detik pada iPhone 17 Pro Max, sementara model standar 8B 16-bit tidak dapat dimuat pada perangkat iPhone mana pun. Konsumsi energi berkurang sekitar 4-5 kali dibandingkan model 16-bit. PrismML mencatat bahwa perangkat keras yang ada tidak dirancang untuk inferensi 1-bit, dan keunggulan kecepatan serta energi terutama berasal dari penggunaan memori yang lebih rendah; jika perangkat keras yang secara khusus dirancang untuk operasi 1-bit (yang hanya memerlukan penjumlahan dan pengurangan, tanpa perkalian) muncul di masa depan, efisiensi bisa meningkat hingga satu orde besarnya. PrismML telah menyelesaikan pendanaan sebesar $16,25 juta dalam putaran SAFE dan seed, dengan investor termasuk Khosla Ventures, Cerberus Capital, dan Caltech. Vinod Khosla, pendiri Khosla Ventures, menyatakan bahwa ini adalah ‘bukan iterasi kecil, melainkan terobosan teknologi yang signifikan, terobosan matematis, bukan sekadar model kecil lainnya.’