各KVペアを保存することは意味がありますか？特にモデルが実際にごく一部のみをクエリする場合には。

KVzapのアイデアは非常にシンプルです——どのキャッシュエントリが後続のクエリで不要になるかを学習によって判断し、それらを積極的に削除します。結果として、キャッシュの容量を元の1/2から1/4に圧縮でき、パフォーマンスへの影響もほとんどありません。

このような知能的で動的な依存に基づくKVキャッシュの剪定方法は、モデル推論の効率向上とストレージコストの削減に実際的な意義があります。特に大規模展開のシナリオでは、この最適化の余地はかなり大きいです。