O gargalo de memória na inferência online finalmente foi resolvido, a técnica de armazenamento incremental lembra-me o git diff, usando diferenças de informação para economizar espaço, inteligente.

A pesquisa propõe o Δ-Mem, um sistema de memória online voltado para grandes modelos de linguagem. Ao armazenar apenas as mudanças incrementais de ativação e atualizá-las, abandonando o estado de ativação completo, reduz significativamente o uso de memória. Os experimentos mostram que o uso de memória pode diminuir até 70%, e a qualidade da saída permanece praticamente inalterada, melhorando a capacidade de inferência online e aprendizagem contínua em ambientes com recursos limitados.