一篇論文が万億市場を揺るがし、ストレージチップの天崩れ...



誰も予想しなかったことに、今週水曜日の米国株市場の開幕時、ストレージチップセクターは「ブラックタイム」を迎え、巨頭の株価は全て下落した——

終値時点で、マイクロンテクノロジーは4%下落、西部データは4.4%下落、シーゲイトは5.6%下落、サンディスクは6.5%の大幅下落。

この売り崩し地震の引き金となったのは、Googleが発表したTurboQuant圧縮アルゴリズムだ。

周知の通り、大規模モデルが稼働する際、KVキャッシュ(KV cache)はまさにメモリ界の「金を飲み込む獣」だ。

以前のトークンを再計算しないために、LLMは「動作記憶」を維持し、対話が長くなるにつれて、この記憶は雪だるま式に急速に膨らむ。

GoogleのTurboQuantは、非常に「暴力的」なスリム化方案を提示している:

まず、KVキャッシュ内の高次元ベクトルに対して「回転」を行い、その後、極座標系を用いて記述し、メモリの消費をゼロにする。

次に、わずか1ビットの追加空間を使って、「校正器」を挿入し、圧縮による系統的偏差を正確に平らげる。

TurboQuantの論文は、来月開催されるICLR 2026で正式に発表される予定だ。

結果は非常に驚異的:再学習なしで、TurboQuantはキャッシュを狂気じみた3ビットに圧縮。

これにより、KVキャッシュの消費は6倍に激減し、しかも推論性能はほとんど損失なく向上。

H100上では、32ビット基準と比較して、4ビットの計算注意力速度は8倍に跳ね上がった。スペースを節約するだけでなく、より高速に動作する。
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし
  • 人気の Gate Fun

    もっと見る
  • 時価総額:$0.1保有者数:1
    0.00%
  • 時価総額:$2.27K保有者数:2
    0.00%
  • 時価総額:$0.1保有者数:1
    0.00%
  • 時価総額:$2.26K保有者数:1
    0.00%
  • 時価総額:$2.27K保有者数:1
    0.00%
  • ピン