PrismMLがBonsai 27Bをリリース:3.9GBのAIモデルがiPhoneで動作
PrismMLは今週初めにBonsai 27Bをリリースしました。3.9 GBに圧縮された270億パラメータのAIモデルで、iPhone 17 Pro Max上で毎秒11トークンで動作します。三値(ternary)バリアントは、スマートフォンのメモリ制約の範囲内に収めつつ、フル精度ベンチマーク性能の94.6%を維持しており、このクラスのモデルとして初めて、一般消費者向けデバイスのメモリ予算をクリアしたことを示します。Caltechの知的財産をベースにした圧縮方式により、各モデルの重みが16ビットから符号値1つに削減され、バイナリ・バリアントは1重みあたり1.125ビットとなります。フル精度の元のモデルより14分の1のサイズです。 圧縮技術によりモデルの重みを符号値に削減 圧縮方式は、各モデルの重みを16ビットの浮動小数点精度から1つの符号(バイナリ構築では+1または-1、三値バリアントでは3つの値のいずれか)へと削減します。重み128個ごとに16ビットのスケーリング係数を共有します。三値モデルでは、表現力をわずかに高めるためのゼロ状態が追加され、重みあたり1.71ビットに落ち着きます。
NVDA-0.63%
GateAiHorizon·07-15 20:03
