Tether AI は、QVAC SDK 0.12.0 にオープンソースの TurboQuant の統合を発表しました。TurboQuant はもともと Google Research によって提案され、大規模モデルの実行に必要な KV キャッシュのメモリを最大 5 倍圧縮できるため、より長いコンテキスト、より大きなドキュメント、より長時間の対話をローカルデバイス上で実行できるようになります。Tether は、この技術がノートパソコン、スマートフォン、エッジデバイス、分散型 AI ネットワークに適用されると述べており、ローカル化と分散型 AI 戦略の推進の一環として位置付けています。

原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • 13
  • 2
  • 共有
コメント
コメントを追加
コメントを追加
ReflectionsOnTheStreetCorner
· 4時間前
圧縮5倍でも精度を維持できるなら、この技術的アプローチはすぐに主流のフレームワークに追随されるだろう
原文表示返信0
LeverageLatte
· 4時間前
スマートフォン端の長文対話がついにクラウドに敏感なデータを送る必要がなくなり、プライバシー派は大喜び
原文表示返信0
MirrorBallReflection
· 4時間前
5倍圧縮は、私の古いノートパソコンでもローカルで7Bモデルを動かせるということですか?QVAC 0.12.0を楽しみにしています
原文表示返信0
GateUser-a9315d81
· 4時間前
KVキャッシュは5倍圧縮されましたが、推論の遅延はどれくらい増加しますか?ベンチマークはありますか?
原文表示返信0
GateUser-6857a9c9
· 4時間前
分散型AIネットワークに必要なのはこのようなエッジ最適化であり、帯域幅とストレージの両方の負担を軽減することです
原文表示返信0
GateUser-665eb149
· 4時間前
Googleリサーチの基盤+Tetherの実用化、この組み合わせはちょっと面白い
原文表示返信0
ContrarianIndicatorBonsai
· 4時間前
ついにスマートフォンで長いコンテキストを動かせるようになった、TurboQuantの圧縮比は確かに素晴らしい
原文表示返信0
PerpetualKing
· 4時間前
突撃するだけだ 👊
原文表示返信0
PerpetualKing
· 4時間前
突撃すればそれだけだ 👊
原文表示返信0
PerpetualKing
· 4時間前
突撃すればそれだけだ 👊
原文表示返信0
もっと見る
  • ピン留め