Δ-Mem:Efisiensi Memori Online yang Cocok untuk Model Bahasa Skala Besar

robot
Pembuatan abstrak sedang berlangsung
ME News Berita, 16 Mei (UTC+8), para peneliti mengusulkan Δ-Mem, sebuah sistem memori online yang efisien yang dirancang khusus untuk model bahasa besar. Sistem ini secara signifikan mengurangi penggunaan memori dengan hanya menyimpan dan memperbarui perubahan inkremen dari aktivasi model, bukan status aktivasi lengkap. Eksperimen menunjukkan bahwa Δ-Mem dapat mengurangi penggunaan memori hingga 70%, sambil mempertahankan kualitas output model hampir tanpa kehilangan. Metode ini membantu dalam penerapan dan menjalankan model bahasa skala besar di lingkungan dengan sumber daya terbatas, meningkatkan kelayakannya dalam skenario inferensi online dan pembelajaran berkelanjutan. (Sumber: AiHot)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 10
  • 2
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
DeltaSmile
· 1jam yang lalu
Kualitas output tanpa kehilangan adalah yang paling penting, banyak skema kompresi mengorbankan terlalu banyak ketepatan.
Lihat AsliBalas0
PickingUpAirdropsInTheFog
· 6jam yang lalu
Kemampuan pembelajaran berkelanjutan ini sering diremehkan, padahal sangat penting untuk model yang dipersonalisasi.
Lihat AsliBalas0
InvisibleMarketMaker
· 6jam yang lalu
Penurunan memori sebesar 70% memang mengagumkan, tetapi dalam skenario online, apakah biaya komputasi untuk pembaruan inkremental tidak akan menjadi hambatan baru?
Lihat AsliBalas0
ColdStartUnderTheAurora
· 6jam yang lalu
Akhirnya ada yang serius menangani masalah dinding memori LLM, menantikan pekerjaan selanjutnya.
Lihat AsliBalas0
HotAirBalloonCrossingMountains
· 6jam yang lalu
Rasa dan perhatian jarang dapat digunakan secara bersamaan, kompresi ganda.
Lihat AsliBalas0
PettyLp
· 6jam yang lalu
Sistem memori online ini sangat akurat dalam penempatannya, mengisi kekosongan di tahap penalaran.
Lihat AsliBalas0
CheckTheBlockchainBefore
· 6jam yang lalu
Bagaimana kompatibilitas metode penyesuaian kecil parameter yang efisien seperti rasa ingin tahu dan LoRA.
Lihat AsliBalas0
ProtocolPaladin
· 6jam yang lalu
Jika arah ini dibuka sumber, komunitas bisa berkreasi dengan banyak variasi.
Lihat AsliBalas0
PerpPessimist
· 6jam yang lalu
Menggunakan kumpulan data evaluasi apa untuk percobaan? Apakah GLUE atau tugas penalaran yang lebih kompleks.
Lihat AsliBalas0
TokenomicsMechanic
· 6jam yang lalu
Apakah 70% adalah batas maksimum atau rata-rata? Apakah perbedaan kinerja besar antara model dengan skala berbeda?
Lihat AsliBalas0
Lihat Lebih Banyak
  • Disematkan