Le goulot d'étranglement de la mémoire dans l'inférence en ligne a enfin été résolu, cette technique de stockage incrémental me fait penser à git diff, utiliser la différence d'information pour échanger de l'espace, intelligent.

La recherche propose Δ-Mem, un système de mémoire en ligne destiné aux grands modèles de langage. En ne stockant que les changements incrémentiels liés à l'activation et en abandonnant l'état d'activation complet, cela réduit considérablement l'utilisation de la mémoire. Les expériences montrent que la consommation de mémoire peut diminuer jusqu'à 70 %, tout en maintenant une qualité de sortie quasi inchangée, améliorant ainsi la capacité de raisonnement en ligne et d'apprentissage continu dans des environnements à ressources limitées.