ローカルで大規模モデルを動かすのにやっとクラウドの顔色を気にしなくて済むようになった、5倍圧縮で品質も維持、TurboQuantのこのオープンソースはまさにエッジデバイス開発者に銃を渡しているようだ

Tether AI は、TurboQuant の本番リリースをオープンソース化し、QVAC SDK 0.12.0 に統合することを発表しました。TurboQuant は Google Research のメモリ圧縮アルゴリズムに基づいており、AI ランタイムの KV キャッシュを最大 5 倍圧縮可能で、出力品質は非圧縮に近いです。この技術により、ノートパソコン、スマートフォン、エッジデバイスはクラウドを必要とせずに、より長い対話やより大きなファイルを処理できます。今回のリリースには、完全な定量化パイプライン、推論フレームワークアダプター、および開発ドキュメントが含まれ、コンシューマー向けハードウェア、エッジデバイス、ピアツーピアネットワーク上の開発者やスタートアップチームを対象としています。