ذاكرة Δ-Mem: ذاكرة فعالة عبر الإنترنت لنماذج اللغة الكبيرة

robot
إنشاء الملخص قيد التقدم
أخبار ME News، في 16 مايو (بتوقيت UTC+8)، اقترح الباحثون نظام ذاكرة فعال عبر الإنترنت يسمى Δ-Mem، مصمم خصيصًا لنماذج اللغة الكبيرة. يقلل هذا النظام بشكل كبير من استهلاك الذاكرة من خلال تخزين وتحديث التغييرات التدريجية في تنشيط النموذج فقط، بدلاً من الحالة الكاملة للتنشيط. أظهرت التجارب أن Δ-Mem يمكن أن يقلل من استخدام الذاكرة بنسبة تصل إلى 70٪، مع الحفاظ على جودة مخرجات النموذج تقريبًا دون خسارة. تساعد هذه الطريقة في نشر وتشغيل نماذج اللغة الكبيرة في بيئات ذات موارد محدودة، وتعزيز إمكانية تطبيقها في سيناريوهات الاستدلال عبر الإنترنت والتعلم المستمر. (المصدر: AiHot)
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • 6
  • 1
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
VineGeometry
· منذ 3 س
أين يمكنني رؤية بيانات التجربة؟ أريد أن أطلع على الخسارة في المهمة المحددة.
شاهد النسخة الأصليةرد0
AirdropMileCounter
· منذ 3 س
Δ-Mem + التكميم، هل يمكن أن تضغط الذاكرة إلى الحد الأقصى
شاهد النسخة الأصليةرد0
YieldSpring
· منذ 3 س
فكرة التخزين التدريجي رائعة، تشبه إلى حد ما عقل الإنسان الذي يتذكر فقط الأجزاء المتغيرة
شاهد النسخة الأصليةرد0
DegenLibrarian
· منذ 3 س
هل ستواجه مشكلة تراكم الأخطاء في سيناريوهات التعلم المستمر؟
شاهد النسخة الأصليةرد0
PineLiquidityPool
· منذ 3 س
إذا تم دمجه في vLLM، فإن القدرة على المعالجة ستتضاعف بشكل كبير
شاهد النسخة الأصليةرد0
QuantitativeButNotPretentious
· منذ 3 س
انخفاض الذاكرة بنسبة 70% رائع جدًا، وأخيرًا يمكن للأجهزة الطرفية تشغيل النماذج الكبيرة
شاهد النسخة الأصليةرد0
  • مُثبت