Tether AI は、QVAC SDK 0.12.0 にオープンソースの TurboQuant の統合を発表しました。TurboQuant はもともと Google Research によって提案され、大規模モデルの実行に必要な KV キャッシュのメモリを最大 5 倍圧縮できるため、より長いコンテキスト、より大きなドキュメント、より長時間の対話をローカルデバイス上で実行できるようになります。Tether は、この技術がノートパソコン、スマートフォン、エッジデバイス、分散型 AI ネットワークに適用されると述べており、ローカル化と分散型 AI 戦略の推進の一環として位置付けています。
Tether AI は、QVAC SDK 0.12.0 にオープンソースの TurboQuant の統合を発表しました。TurboQuant はもともと Google Research によって提案され、大規模モデルの実行に必要な KV キャッシュのメモリを最大 5 倍圧縮できるため、より長いコンテキスト、より大きなドキュメント、より長時間の対話をローカルデバイス上で実行できるようになります。Tether は、この技術がノートパソコン、スマートフォン、エッジデバイス、分散型 AI ネットワークに適用されると述べており、ローカル化と分散型 AI 戦略の推進の一環として位置付けています。