El cuello de botella de memoria en la inferencia en línea finalmente ha sido superado, esta técnica de almacenamiento incremental me recuerda a git diff, usando la diferencia de información para ahorrar espacio, inteligente.

El estudio propone Δ-Mem, un sistema de memoria en línea para modelos de lenguaje grandes. Al almacenar solo los cambios incrementales en las activaciones y actualizar, en lugar de mantener el estado completo de activación, se reduce significativamente el uso de memoria. Los experimentos muestran que el uso de memoria puede disminuir hasta en un 70%, y la calidad de salida se mantiene prácticamente sin pérdidas, mejorando la capacidad de inferencia en línea y aprendizaje continuo en entornos con recursos limitados.