PrismML Meluncurkan Bonsai 27B: Model AI 3,9 GB Bisa Berjalan di iPhone
PrismML merilis Bonsai 27B lebih awal pekan ini, sebuah model AI berparameter 27 miliar yang dikompresi menjadi 3,9 GB, berjalan di iPhone 17 Pro Max pada 11 token per detik. Varian ternernya mempertahankan 94,6% kinerja benchmark berpresisi penuh, sambil tetap muat dalam batas memori smartphone, menandai pertama kalinya sebuah model pada level kemampuan ini melampaui anggaran memori perangkat konsumen. Metode kompresinya, yang dibangun di atas kekayaan intelektual Caltech, menurunkan bobot seti
NVDA-0,10%
OliverGrant·07-15 20:03
