ビッジエ界ニュースによると、1M AI Newsのモニタリングで、カリフォルニア工科大学の数学者Babak Hassibiが共同創業したAIラボPrismMLは、潜伏期間を終了し、オープンソースの1-bit Bonsaiシリーズの大規模言語モデルを公開した。フラグシップモデルの1-bit Bonsai 8Bは82億パラメータを備え、メモリ使用量はわずか1.15 GBで、同クラスの16-bitモデル（約16 GB）に比べて約14倍圧縮されている。重みはApache 2.0ライセンスのもとHuggingFaceでオープンにダウンロード可能で、さらに4B（0.5 GB）と1.7B（0.24 GB）の2つのより小さなモデルも同時にリリースされた。Bonsai 8Bはエンドツーエンドの真の1-bitモデルで、埋め込み層、注意力層、MLP層、出力ヘッドのすべてが重みを+1または-1でのみ表現し、いかなる高精度のパッチも含まない。PrismMLは、標準的なベンチマークにおける推論と言語理解の能力が、16-bitのフル精度モデルと同等だと述べている。中核となる圧縮の数学は、チームがカリフォルニア工科大学で数年にわたって開発したもので、知的財産権はカリフォルニア工科大学に帰属し、PrismMLは唯一の独占ライセンス保有者である。モデルはGoogleのv4 TPUでトレーニングされている。実測速度：M4 Pro Macで136 tok/s、RTX 4090で440 tok/s、iPhone 17 Pro Maxで約44 tok/sであり、一方で標準の16-bit 8BモデルはどのiPhoneにも収まらない。エネルギー消費は16-bitモデルに比べて約4-5倍低下している。PrismMLによれば、既存のハードウェアは1-bit推論のために設計されておらず、速度とエネルギー効率の優位性は主にメモリ使用量の縮小に由来する。もし将来、1-bit推論専用のハードウェア（加減算だけでよく、乗算は不要）でも登場すれば、効率はさらにもう1桁向上し得るという。PrismMLは、SAFEおよびシードラウンドで1625万ドルの資金調達を完了し、投資家はKhosla Ventures、Cerberus Capital、そしてカリフォルニア工科大学である。Khosla Venturesの創始者Vinod Khoslaは、これは「小さな反復ではなく、重大な技術ブレークスルーであり、数学のブレークスルーであって、単なるまた別の小さなモデルではない」と述べた。
カリフォルニア工科大学のオープンソース1ビットモデルBonsai：8Bパラメータでわずか1.15GB、iPhone上で44tok/sを実現
ビッジエ界ニュースによると、1M AI Newsのモニタリングで、カリフォルニア工科大学の数学者Babak Hassibiが共同創業したAIラボPrismMLは、潜伏期間を終了し、オープンソースの1-bit Bonsaiシリーズの大規模言語モデルを公開した。フラグシップモデルの1-bit Bonsai 8Bは82億パラメータを備え、メモリ使用量はわずか1.15 GBで、同クラスの16-bitモデル（約16 GB）に比べて約14倍圧縮されている。重みはApache 2.0ライセンスのもとHuggingFaceでオープンにダウンロード可能で、さらに4B（0.5 GB）と1.7B（0.24 GB）の2つのより小さなモデルも同時にリリースされた。Bonsai 8Bはエンドツーエンドの真の1-bitモデルで、埋め込み層、注意力層、MLP層、出力ヘッドのすべてが重みを+1または-1でのみ表現し、いかなる高精度のパッチも含まない。PrismMLは、標準的なベンチマークにおける推論と言語理解の能力が、16-bitのフル精度モデルと同等だと述べている。中核となる圧縮の数学は、チームがカリフォルニア工科大学で数年にわたって開発したもので、知的財産権はカリフォルニア工科大学に帰属し、PrismMLは唯一の独占ライセンス保有者である。モデルはGoogleのv4 TPUでトレーニングされている。実測速度：M4 Pro Macで136 tok/s、RTX 4090で440 tok/s、iPhone 17 Pro Maxで約44 tok/sであり、一方で標準の16-bit 8BモデルはどのiPhoneにも収まらない。エネルギー消費は16-bitモデルに比べて約4-5倍低下している。PrismMLによれば、既存のハードウェアは1-bit推論のために設計されておらず、速度とエネルギー効率の優位性は主にメモリ使用量の縮小に由来する。もし将来、1-bit推論専用のハードウェア（加減算だけでよく、乗算は不要）でも登場すれば、効率はさらにもう1桁向上し得るという。PrismMLは、SAFEおよびシードラウンドで1625万ドルの資金調達を完了し、投資家はKhosla Ventures、Cerberus Capital、そしてカリフォルニア工科大学である。Khosla Venturesの創始者Vinod Khoslaは、これは「小さな反復ではなく、重大な技術ブレークスルーであり、数学のブレークスルーであって、単なるまた別の小さなモデルではない」と述べた。