أعلنت جوجل عن تقنية ضغط ذاكرة التخزين المؤقت KV تأثير متوقع على احتياجات التخزين

لطالما واجهت نماذج اللغة الكبيرة مشاكل في التوسع، ومع زيادة نافذة السياق، يزداد حجم الذاكرة المطلوبة لتخزين المفاتيح والقيم (KV) بشكل متناسب، مما يستهلك ذاكرة معالج الرسومات (GPU) ويبطئ سرعة الاستنتاج. لمواجهة هذه الظاهرة، أطلقت شركة جوجل الأمريكية ثلاثة خوارزميات ضغط، وهي TurboQuant وPolarQuant وQJL (التحويل الكمي Johnson-Lindenstrauss)، وتهدف هذه الخوارزميات إلى ضغط التخزين المؤقت بكفاءة، مع الحفاظ على جودة مخرجات النموذج.

انخفضت أسهم قطاع التخزين في السوق الأمريكية بشكل جماعي

أثار تقنية الضغط الجديدة من جوجل مخاوف السوق بشأن مستقبل الطلب على التخزين، ونتيجة للأخبار، انخفض سعر سهم شركة سانديك (Sandisk) إلى حد 9.2% يوم الأربعاء، وتراجع سهم شركة ميكرون (Micron) بأقصى حد 6.3%.

تقنية الضغط الجديدة للذاكرة TurboQuant، يمكنها ضغط تخزين المفاتيح والقيم للنماذج الكبيرة إلى 3 بت، مما يحقق تقليل الذاكرة بمقدار 6 مرات وتسريعًا يصل إلى 8 أضعاف.

وفقًا للمعلومات، يمكن لتقنية TurboQuant تقليل استهلاك الذاكرة المؤقتة للنماذج الكبيرة بشكل كبير دون فقدان الدقة، وعلى بطاقة GPU من نوع H100 من إنفيديا، فإن TurboQuant بـ4 بت يتفوق على المفاتيح غير الكمية ذات 32 بت بمقدار 8 مرات في حساب قيم الانتباه المنطقية. كما أن PolarQuant يظهر أداءً شبه خالٍ من الفقدان في مهام البحث العشوائي “كأنك تبحث عن إبرة في كومة قش”.

وأشار تحليل من بنك مورغان ستانلي إلى أن تقنية الضغط الجديدة من جوجل تعمل فقط في مرحلة الاستنتاج، ولا تقلل من متطلبات الأجهزة، بل قد تساهم في تقليل تكاليف النشر، مما يتيح تفعيل المزيد من سيناريوهات تطبيقات الذكاء الاصطناعي.