Δ-Mem:Memória online eficiente para grandes modelos de linguagem

robot
Geração do resumo em andamento
ME News Notícias, 16 de maio (UTC+8), pesquisadores propuseram o Δ-Mem, um sistema de memória online eficiente projetado especificamente para grandes modelos de linguagem.
Este sistema reduz significativamente o uso de memória ao armazenar e atualizar apenas as mudanças incrementais nas ativações do modelo, em vez do estado completo das ativações.
Experimentos mostram que o Δ-Mem pode reduzir o uso de memória em até 70%, mantendo praticamente a mesma qualidade na saída do modelo.
Este método ajuda a implantar e executar grandes modelos de linguagem em ambientes com recursos limitados, aumentando a viabilidade de inferência online e aprendizado contínuo.
(Fonte: AiHot)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 6
  • 1
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
VineGeometry
· 2h atrás
Onde posso ver os dados do experimento? Quero verificar a perda na tarefa específica.
Ver originalResponder0
AirdropMileCounter
· 2h atrás
Δ-Mem + quantização, será que consegue levar a memória de vídeo ao limite?
Ver originalResponder0
YieldSpring
· 2h atrás
A ideia de armazenamento incremental é muito inteligente, é um pouco como o cérebro humano que só lembra das partes que mudam.
Ver originalResponder0
DegenLibrarian
· 2h atrás
No cenário de aprendizado contínuo, haverá problemas de erro acumulado?
Ver originalResponder0
PineLiquidityPool
· 2h atrás
Se isso for integrado ao vLLM, a taxa de processamento vai disparar
Ver originalResponder0
QuantitativeButNotPretentious
· 2h atrás
A queda de 70% na memória é incrível, os dispositivos de borda finalmente podem rodar grandes modelos
Ver originalResponder0
  • Fixado