Sebuah makalah mengguncang pasar bernilai triliunan, chip penyimpanan runtuh...

Tak seorang pun menyangka, pada hari Rabu minggu ini saat pasar saham AS dibuka, sektor chip penyimpanan mengalami "momen hitam", harga saham raksasa semuanya merosot—

Hingga penutupan, saham Micron turun 4%, Western Digital turun 4,4%, Seagate turun 5,6%, dan SanDisk bahkan anjlok 6,5%.

Pemicu utama dari gelombang penjualan ini adalah algoritma kompresi TurboQuant yang dirilis oleh Google.

Seperti diketahui, saat model besar berjalan, cache KV (KV cache) ibarat "binatang penelan uang" di dunia memori.

Agar tidak menghitung ulang token sebelumnya, LLM mempertahankan "memori operasional", dan seiring percakapan yang semakin panjang, memori ini akan cepat membengkak seperti bola salju.

Google TurboQuant menawarkan solusi "kasar" yang sangat ekstrem untuk mengurangi ukuran cache:

Pertama, melakukan "rotasi" pada vektor berdimensi tinggi di cache KV, lalu mengganti dengan sistem koordinat polar untuk mendeskripsikannya, sehingga penggunaan memori langsung menjadi nol.

Kemudian, menggunakan ruang tambahan hanya 1-bit, menempatkan "pengoreksi" matematis di dalamnya, untuk secara tepat menghilangkan bias sistematis yang diakibatkan oleh kompresi.

Makalah TurboQuant akan resmi dipublikasikan di ICLR 2026 bulan depan.

Hasilnya sangat mengesankan: tanpa pelatihan ulang, TurboQuant mampu mengompresi cache hingga 3-bit yang ekstrem.

Dengan cara ini, penggunaan cache KV menurun 6 kali lipat, dan yang penting, performa inferensi hampir tidak mengalami penurunan.

Di H100, dibandingkan dengan baseline 32-bit, kecepatan perhatian komputasi 4-bit meningkat 8 kali lipat. Tidak hanya menghemat ruang, tetapi juga berjalan lebih cepat.