Batasan memori inferensi LLM akhirnya berhasil dipecahkan dari sudut pandang peningkatan, sehingga skenario pembelajaran daring kini bisa berjalan lebih ringan

Penelitian mengusulkan Δ-Mem, sebuah sistem memori daring untuk model bahasa besar. Dengan hanya menyimpan perubahan inkremen yang diaktifkan dan memperbarui, mengabaikan status aktivasi lengkap, secara signifikan mengurangi penggunaan memori. Eksperimen menunjukkan penggunaan memori dapat turun hingga 70%, dan kualitas output hampir tidak berkurang, meningkatkan kemampuan inferensi daring dan pembelajaran berkelanjutan di lingkungan dengan sumber daya terbatas.