Model Bonsai sumber terbuka Caltech yang benar-benar 1-bit: 8B parameter hanya 1,15GB, berjalan di iPhone hingga 44 token/detik

Berdasarkan pemantauan dari 1M AI News, lab AI PrismML yang didirikan bersama oleh matematikawan Caltech Babak Hassibi mengakhiri masa “bersembunyi”, merilis open-source rangkaian model bahasa Bonsai 1-bit. Model unggulan, 1-bit Bonsai 8B, memiliki 8,2 miliar parameter; penggunaan memorinya hanya 1,15 GB, yang memampatkannya sekitar 14 kali dibanding model 16-bit sekelas (sekitar 16 GB). Bobot tersedia untuk diunduh secara terbuka di HuggingFace dengan lisensi Apache 2.0, sekaligus merilis dua model yang lebih kecil: 4B (0,5 GB) dan 1,7B (0,24 GB).

Bonsai 8B adalah model 1-bit end-to-end yang sesungguhnya: lapisan embedding, lapisan attention, lapisan MLP, dan kepala output semuanya hanya menggunakan bobot yang dinyatakan dengan +1 atau -1, tanpa tambalan presisi tinggi apa pun. PrismML mengklaim kemampuan inferensi dan pemahaman bahasa pada benchmark standar setara dengan model presisi penuh 16-bit. Matematika kompresi inti dikembangkan oleh tim selama bertahun-tahun di Caltech, dengan hak kekayaan intelektual dimiliki oleh Caltech, dan PrismML adalah satu-satunya pihak yang diberi lisensi eksklusif. Model dilatih menggunakan Google v4 TPU.

Kecepatan teruji: pada M4 Pro Mac mencapai 136 token/s, pada RTX 4090 mencapai 440 token/s, dan pada iPhone 17 Pro Max sekitar 44 token/s—sementara model standar 16-bit 8B tidak dapat dimuat pada perangkat iPhone mana pun. Konsumsi energinya menurun sekitar 4–5 kali dibanding model 16-bit. PrismML menyatakan bahwa perangkat keras yang ada tidak dirancang untuk inferensi 1-bit; keunggulan kecepatan dan efisiensi energi terutama berasal dari berkurangnya penggunaan memori. Jika di masa depan muncul perangkat keras yang didesain khusus untuk 1-bit (cukup penjumlahan dan pengurangan, tanpa perkalian), efisiensinya masih bisa ditingkatkan satu orde besaran lagi.

PrismML menyelesaikan putaran pendanaan SAFE dan seed sebesar 16,25 juta dolar AS, dengan investor Khosla Ventures, Cerberus Capital, dan Caltech. Vinod Khosla, pendiri Khosla Ventures, menyebut ini “bukan iterasi kecil, melainkan terobosan teknologi besar, terobosan matematika, bukan sekadar model kecil lainnya.”