Bottleneck memori inferensi daring akhirnya terpecahkan, teknik penyimpanan inkremen ini mengingatkan saya pada git diff, menggunakan perbedaan informasi untuk menukar ruang, cerdas.

Penelitian mengusulkan Δ-Mem, sebuah sistem memori daring untuk model bahasa besar. Dengan hanya menyimpan perubahan inkremen yang diaktifkan dan memperbarui, mengabaikan status aktivasi lengkap, secara signifikan mengurangi penggunaan memori. Eksperimen menunjukkan penggunaan memori dapat turun hingga 70%, dan kualitas output hampir tidak berkurang, meningkatkan kemampuan inferensi daring dan pembelajaran berkelanjutan di lingkungan dengan sumber daya terbatas.