Tether AI 宣布将在 QVAC SDK 0.12.0 中集成開源 TurboQuant 實現。TurboQuant 最初由 Google Research 提出,可將大模型運行過程中所需的 KV Cache 內存壓縮最高 5 倍,從而支持更長的上下文、更大的文檔及更長時間的對話在本地設備運行。Tether 表示,該技術將適用於筆記本電腦、手機、邊緣設備及去中心化 AI 網絡,並作為其推動本地化與去中心化 AI 戰略的一部分。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆
  • 已置頂