O gargalo de memória na inferência de LLM finalmente foi resolvido por alguém a partir de uma perspetiva incremental, agora o cenário de aprendizagem online pode correr de forma mais leve

Ver original
MeNews
Δ-Mem: Memória online eficiente para grandes modelos de linguagem
A pesquisa propõe o Δ-Mem, um sistema de memória online voltado para grandes modelos de linguagem. Ao armazenar apenas as mudanças incrementais de ativação e abandonar o estado de ativação completo, reduz significativamente o uso de memória. Os experimentos mostram que o uso de memória pode diminuir até 70%, e a qualidade da saída permanece praticamente inalterada, melhorando a capacidade de inferência online e aprendizagem contínua em ambientes com recursos limitados.
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado