本地跑大模型終於不用看雲端臉色了，5倍壓縮還保質量，TurboQuant這波開源是真給邊緣設備開發者發槍啊

Tether AI 宣布開源 TurboQuant 生產版本並集成至 QVAC SDK 0.12.0。TurboQuant 基於 Google Research 的內存壓縮算法，AI 運行時 KV 緩存可壓縮高至 5 倍，輸出質量接近未壓縮。該技術讓筆記本、手機和邊緣設備無需雲端即可處理更長對話與更大文件。此次發布含完整量化流水線、推理框架適配器及開發文檔，面向消費級硬件、邊緣設備及點對點網絡上的開發者與初創團隊。