هل من معنى لتخزين كل زوج KV؟ خاصة عندما يكون النموذج في الواقع سيستعلم فقط جزءًا صغيرًا منها.

فكرة KVzap مباشرة جدًا — من خلال التعلم لتحديد أي إدخالات التخزين المؤقت غير المستخدمة في الاستعلامات اللاحقة، ثم حذفها بشكل استباقي. النتيجة هي القدرة على ضغط حجم التخزين المؤقت إلى النصف أو الربع من الحجم الأصلي، مع تقليل التأثير على الأداء تقريبًا.

هذه الطريقة الذكية والاعتمادية ديناميكيًا في تقليم ذاكرة التخزين المؤقت KV لها أهمية عملية في تحسين كفاءة استنتاج النموذج وتقليل تكاليف التخزين. خاصة في سيناريوهات النشر على نطاق واسع، فإن مساحة التحسين هذه لا تزال ذات قيمة كبيرة.