速報：Googleは、言語モデルの作業メモリを損失なく圧縮することを目的とした技術、TurboQuantを発表しました。

研究の示す通り実用化されれば、現在のAIの主要なボトルネックの一つである長いコンテキスト、エージェント、巨大な推論ワークロードを処理するために必要なメモリのコストと不足を緩和できる可能性があります。
TurboQuantは、KVキャッシュの使用量を最大6倍削減し、データ損失なしでチップ上の処理を最大8倍高速化することを目指しています。