PrismMLが1.58ビットモデルのTernary Bonsaiをリリース、パラメータを9倍削減し、知能度で同類を凌駕

robot
概要作成中
MEニュース、4月17日(UTC+8)、動察Beatingの監視によると、PrismMLはTernary Bonsaiシリーズの言語モデルを発表しました。1.58ビット(ternary weights)技術を用いて、高性能を維持しつつモデルのGPUメモリ占有量を16ビットモデルの9分の1に削減しています。このシリーズは8B、4B、1.7Bの3つのパラメータ規模を含み、既にHugging Faceでオープンソース化され、Appleデバイスでネイティブに動作可能です。
いわゆる1.58ビットモデルは、ニューラルネットワークの重みを{-1, 0, +1}の3つの値に制限したものです。従来の極限圧縮を追求した1ビットモデル(重みは{-1, +1}のみ)と比べ、「0」値を導入することで冗長な接続を効果的に排除し、非常に小さなサイズでも複雑な推論能力を保持できます。今回発表されたTernary Bonsai 8Bの重みファイルはわずか1.75GBで、ベンチマークの平均スコアは75.5に達し、自社の1ビットバージョンより5ポイント高いだけでなく、「スマート密度」(1GBのGPUメモリあたりの性能貢献度)においてQwen3などの同類密なモデルを大きくリードしています。
エネルギー効率と動作速度もこのシリーズのもう一つの重要な強みです。iPhone 17 Pro Max上では、8Bバージョンの動作速度は27トーク/秒に達し、エネルギー効率比は約3〜4倍向上しています。これは、スマートフォンやノートパソコンなどのエッジデバイス上で高性能AIを展開する開発者にとって、ほぼ完全な精度のモデルを少ないメモリコストで実現できることを意味します。
現在、Ternary BonsaiモデルはAppleデバイス上でMLXフレームワークを通じてネイティブサポートされています。モデルの重みはApache 2.0ライセンスで配布されています。
(出典:BlockBeats)
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • 8
  • 12
  • 共有
コメント
コメントを追加
コメントを追加
GateUser-44dde53b
· 13時間前
省エネルギー効率が3〜4倍向上し、今回のiPhoneのバッテリー持ちの負担は少し軽くなる。
原文表示返信0
Neon-LitStreetsAfterTheRain
· 14時間前
iPhone 17 Pro Maxの実測データを出してみたら、PPTよりずっと多かった
原文表示返信0
NeonFusionIceCream
· 14時間前
{-1,0,+1}三値の重み付け、極限まで量子化しても75.5点を維持できる、エンジニアリングの実力がある。
原文表示返信0
TreatMemesAsBeliefs
· 14時間前
MLXフレームワーク適応説明 AppleエコシステムAI展開がますます深まる
原文表示返信0
QuantizedDaydream
· 14時間前
Apache 2.0ライセンスは高評価であり、商業的に友好的でなければ展開できない
原文表示返信0
HaiyanColdWallet
· 14時間前
Hugging Faceはオープンソース化されました。週末に4Bバージョンの効果を試してみてください。
原文表示返信0
GlassBottleFeather
· 14時間前
Appleデバイスのネイティブで8Bモデルを動かし、27トーク/秒の速度はスマートフォンで使えます
原文表示返信0
NeonMint
· 14時間前
1.58ビットはかなり厳しいですね、VRAMを直接1/9に削減してしまいました、その圧縮率には感服します
原文表示返信0
  • ピン留め