Δ-Mem : Mémoire en ligne efficace pour les grands modèles de langage

robot
Création du résumé en cours
ME News Actualités, le 16 mai (UTC+8), des chercheurs ont proposé Δ-Mem, un système de mémoire en ligne efficace conçu spécifiquement pour les grands modèles de langage. Ce système réduit considérablement l'utilisation de la mémoire en ne stockant et en mettant à jour que les changements incrémentiels dans l'activation du modèle, plutôt que l'état complet de l'activation. Les expériences montrent que Δ-Mem peut réduire l'utilisation de la mémoire jusqu'à 70 %, tout en maintenant la qualité de sortie du modèle pratiquement inchangée. Cette méthode aide à déployer et à faire fonctionner des modèles de langage à grande échelle dans des environnements à ressources limitées, améliorant leur faisabilité dans les scénarios d'inférence en ligne et d'apprentissage continu. (Source : AiHot)
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 6
  • 1
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
VineGeometry
· Il y a 3h
Où puis-je voir les données expérimentales ? Je veux voir la perte sur la tâche spécifique.
Voir l'originalRépondre0
AirdropMileCounter
· Il y a 3h
Δ-Mem + quantification, est-ce qu'on peut pousser la mémoire vidéo à ses limites
Voir l'originalRépondre0
YieldSpring
· Il y a 3h
L'idée de stockage incrémental est brillante, c'est un peu comme le cerveau humain qui ne se souvient que des changements.
Voir l'originalRépondre0
DegenLibrarian
· Il y a 3h
Dans le contexte de l'apprentissage continu, y a-t-il un problème d'accumulation d'erreurs ?
Voir l'originalRépondre0
PineLiquidityPool
· Il y a 3h
Si cela est intégré dans vLLM, le débit doit augmenter considérablement
Voir l'originalRépondre0
QuantitativeButNotPretentious
· Il y a 3h
Une baisse de 70 % de la mémoire est vraiment géniale, les appareils en périphérie peuvent enfin faire tourner de grands modèles
Voir l'originalRépondre0
  • Épinglé