PrismMLが1.58ビットモデルTernary Bonsaiをリリース、パラメータを9倍削減し、知能度は同類を上回る

robot
概要作成中
MEニュース 4月17日(UTC+8)、動察Beatingの監視によると、PrismMLはTernary Bonsaiシリーズの言語モデルを発表しました。1.58ビット(三進数重み)技術を用いて、高性能を維持しつつモデルのGPUメモリ占有量を16ビットモデルの9分の1に削減しています。このシリーズは8B、4B、1.7Bの3つのパラメータ規模を含み、既にHugging Faceでオープンソース化され、Appleデバイスでネイティブに動作可能です。
いわゆる1.58ビットモデルは、ニューラルネットワークの重みを{-1、0、+1}の3つの値に制限したものです。従来の極限まで圧縮を追求した1ビットモデル(重みは{-1、+1}のみ)と比べて、「0」の値を導入することで冗長な接続を効果的に排除し、非常に小さなサイズでも複雑な推論能力を保持できます。今回発表されたTernary Bonsaiの8B重みファイルはわずか1.75GBで、ベンチマークの平均スコアは75.5に達し、自社の1ビットバージョンより5ポイント高いだけでなく、「スマート密度」(GBあたりの性能寄与)においてQwen3などの同類密なモデルを大きく上回っています。
エネルギー効率と動作速度もこのシリーズのもう一つの重要な強みです。iPhone 17 Pro Max上では、8Bバージョンの動作速度は27トーク/秒に達し、エネルギー効率は約3〜4倍向上しています。これは、スマートフォンやノートパソコンなどのエッジデバイス上で高性能AIを展開する開発者にとって、最小限のメモリコストでほぼ完全な精度のモデルの知能性能を得られることを意味します。
現在、Ternary BonsaiモデルはAppleデバイス上でMLXフレームワークを通じてネイティブサポートされています。モデルの重みはApache 2.0ライセンスで配布されています。
(出典:BlockBeats)
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • 8
  • 7
  • 共有
コメント
コメントを追加
コメントを追加
WalletHealthInspector
· 3時間前
三値量子化+MLXネイティブ、アップルエコシステムが閉じられ、Android陣営に圧力が山のようにかかっている
原文表示返信0
RouterRunner
· 8時間前
75.5点リードしているが、全精度と比べてどれくらい差があるのか?アブレーション実験を見てみることはできるか?
原文表示返信0
NeonFusionIceCream
· 8時間前
VRAMが9分の1に削減され、エッジ展開のコストが急激に低下し、端末側AIの転換点が本当に到来したと感じる
原文表示返信0
GateUser-c29c3db9
· 8時間前
iPhone 17 Pro Max 27 tok/s、アップルチップのNPUがついに使い果たされた、MLXエコシステムが飛躍する準備が整った
原文表示返信0
OrderCancellerAfterTheRain
· 8時間前
Bonsaiこの名前は良いですね、剪定をして三つの値だけ残す、まさに盆栽のように精巧に仕上げられたモデルです
原文表示返信0
TvlTeaTime
· 8時間前
Apache 2.0オープンソースは好評ですが、トレーニングはどのように行われているのか、三値の重み逆伝播はどうやるのか気になります。
原文表示返信0
GateUser-8ca669fd
· 8時間前
三値量化{-1,0,+1},古い論文のアイデアが実現した、PrismMLのこのエンジニアリングは素晴らしい
原文表示返信0
BugBountyBuddy
· 8時間前
1.75GBで8Bを実行?この圧縮率はちょっと異常だ、スマホのローカルで大規模モデルを動かすのがついに夢じゃなくなった
原文表示返信0
  • ピン留め