جويو مينغ شي: لا توجد منطقية تقول إنه "ضغط ذاكرة التخزين المؤقت KV يمكن أن يقضي على متطلبات الذاكرة"

المحلل المعروف غو مينجيه يكتب أن ثلاث أحداث حدثت مؤخرًا، والتي تبدو مستقلة، تعمل على تخفيف تأثير عنق الزجاجة في الذاكرة من مستويات مختلفة. وهي على النحو التالي: نيفيديا: من خلال Groq 3 LPX لتحقيق استقرار في التأخير المنخفض لتعزيز قيمة التوكن؛ جوجل: باستخدام TurboQuant لتعظيم استغلال البنية التحتية؛ أنثروبيك: دعم بنية وكيل الحالة التي تعمل لفترات طويلة. قال غو مينجيه إن الحلول التي يتبناها المشاركون متنوعة، مما يعكس أن مشكلة الكثافة في الذاكرة ليست مشكلة في المكونات فحسب، بل تتعلق بتحديات على مستوى النظام في الأجهزة والبرمجيات، وأن الحلول المذكورة تكمل بعضها البعض ولا يمكن استبدالها، ولا توجد منطق بسيط مثل “ضغط ذاكرة التخزين المؤقت للقيم المفتاحية (KV Cache) يمكن أن يقضي على الحاجة للذاكرة”. على العكس، يجب التخفيف من مشكلة كثافة الذاكرة على جميع المستويات بشكل متزامن ومستمر. (سينان فاينانس)