A limitação de memória na inferência de LLM finalmente foi abordada por alguém a partir de uma perspectiva incremental, agora o cenário de aprendizado online pode rodar de forma mais leve.

A pesquisa propôs o Δ-Mem, um sistema de memória online voltado para grandes modelos de linguagem. Ao armazenar apenas as mudanças incrementais de ativação e atualizar essas alterações, abandonando o estado completo de ativação, reduz significativamente o uso de memória. Os experimentos mostram que o uso de memória pode diminuir até 70%, e a qualidade da saída permanece praticamente inalterada, melhorando a capacidade de inferência online e aprendizado contínuo em ambientes com recursos limitados.