Le côté obscur de la lune et la nouvelle publication de Tsinghua : la pré-remplissage LLM peut traverser plusieurs centres de données, le débit du modèle de 1T augmente de 54 %

robot
Création du résumé en cours
ME News Actualités, le 18 avril (UTC+8), selon la surveillance de Dongcha Beating, Moonshot AI et l'Université Tsinghua ont publié le 16 avril sur arXiv un nouveau papier intitulé « Prefill-as-a-Service », proposant de faire fonctionner la phase de pré-remplissage (prefill) de l'inférence de grands modèles à travers plusieurs centres de données.
L'inférence de grands modèles se divise en deux étapes : le prefill lit une fois toutes les entrées et génère un cache KV ; le décode utilise ensuite ce cache pour produire le résultat mot par mot.
Les caractéristiques matérielles nécessaires pour ces deux étapes sont totalement différentes : le prefill consomme beaucoup de puissance de calcul, le décode nécessite une grande mémoire vidéo et une large bande passante.
La pratique courante dans l'industrie consiste à séparer ces deux étapes sur des machines différentes (séparation PD), mais cela exige une interconnexion RDMA dans le même centre de données, car le cache KV des modèles d'attention intensive peut atteindre plusieurs dizaines de Gbps par seconde, et si la transmission est lente, le GPU reste inactif.
Le tournant vient des nouveaux modèles d'attention hybride.
Les travaux expérimentaux montrent que des modèles comme Kimi Linear, MiMo-V2-Flash, Ring-2.5-1T, en combinant quelques couches d'attention complètes avec de nombreuses couches linéaires, ont réduit le débit du cache KV d'environ un ordre de grandeur, avec un ratio de compression global de 36 fois pour Ring-2.5-1T.
À ce moment-là, le cache KV peut être transféré du réseau privé RDMA vers un réseau Ethernet standard pour le décode.
La méthode spécifique de PrfaaS consiste à constituer un « cluster de pré-remplissage » dédié, qui ne route que les requêtes avec de longs contextes ou des préfixes non trouvés, tandis que les requêtes courtes restent dans le cluster PD local ; après le pré-remplissage, le cache KV est renvoyé via Ethernet au cluster local pour le décode.
Elle introduit également un routage basé sur un seuil de longueur, un ordonnanceur sensible à la bande passante et un pool de cache de préfixes hybrides.
Les expérimentations ont été réalisées avec un modèle hybride interne de 1T paramètres (basé sur l'architecture Kimi Linear), montrant que la capacité de service globale dépasse de 54 % celle d'une déploiement PD homogène, et de 32 % par rapport à une solution hétérogène naïve, tout en utilisant une bande passante inter-centre modérée par machine.
(Source : BlockBeats)
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 6
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
DewdropSapling
· Il y a 27m
PrfaaS ce nom, y aura-t-il encore Decode-as-a-Service à l'avenir
Voir l'originalRépondre0
InstantNoodle-LevelResearcher
· Il y a 1h
Tsinghua + l'aspect obscur du mois, l'infrastructure des grands modèles nationaux commence à explorer de nouvelles directions
Voir l'originalRépondre0
LateBlockLarry
· Il y a 1h
Une amélioration de 54 % semble attrayante, mais en pratique, il faut prendre en compte l'isolation multi-locataires et la récupération après sinistre
Voir l'originalRépondre0
MempoolMaggie
· Il y a 1h
Le cache KV transmis via Ethernet, le coût de bande passante doit être plus élevé que celui de la puissance de calcul, non ?
Voir l'originalRépondre0
MintLiquidationWarning
· Il y a 2h
Seules les routes longues de contexte n'ont pas été trouvées, les requêtes courtes restent locales, cette stratégie de hiérarchisation est assez pragmatique.
Voir l'originalRépondre0
GateUser-2100b43b
· Il y a 2h
Le modèle d'attention hybride réduit le débit du cache KV, cette idée me rappelle certaines astuces de l'entraînement distribué des premiers temps.
Voir l'originalRépondre0
  • Épinglé