Δ-Mem:Efisiensi Memori Online yang Cocok untuk Model Bahasa Skala Besar

robot
Pembuatan abstrak sedang berlangsung
ME News Berita, 16 Mei (UTC+8), para peneliti mengusulkan Δ-Mem, sebuah sistem memori online yang efisien yang dirancang khusus untuk model bahasa besar. Sistem ini secara signifikan mengurangi penggunaan memori dengan hanya menyimpan dan memperbarui perubahan inkremen dari aktivasi model, bukan status aktivasi lengkap. Eksperimen menunjukkan bahwa Δ-Mem dapat mengurangi penggunaan memori hingga 70%, sambil mempertahankan kualitas output model hampir tanpa kehilangan. Metode ini membantu dalam penerapan dan menjalankan model bahasa skala besar di lingkungan dengan sumber daya terbatas, meningkatkan kelayakannya dalam skenario inferensi online dan pembelajaran berkelanjutan. (Sumber: AiHot)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 6
  • 1
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
VineGeometry
· 3jam yang lalu
Di mana melihat data eksperimen? Ingin melihat kerugian pada tugas tertentu.
Lihat AsliBalas0
AirdropMileCounter
· 3jam yang lalu
Δ-Mem + kuantisasi, apakah bisa mendorong memori video ke batas maksimal
Lihat AsliBalas0
YieldSpring
· 3jam yang lalu
Penyimpanan inkremental adalah ide yang brilian, agak mirip dengan otak manusia yang hanya mengingat bagian yang berubah
Lihat AsliBalas0
DegenLibrarian
· 3jam yang lalu
Apakah dalam skenario pembelajaran berkelanjutan akan muncul masalah akumulasi kesalahan?
Lihat AsliBalas0
PineLiquidityPool
· 3jam yang lalu
Jika ini diintegrasikan ke dalam vLLM, throughput harus meningkat pesat
Lihat AsliBalas0
QuantitativeButNotPretentious
· 3jam yang lalu
Penurunan memori sebesar 70% sangat menggiurkan, perangkat edge akhirnya bisa menjalankan model besar
Lihat AsliBalas0
  • Disematkan