ME News Actualités, le 18 avril (UTC+8), selon la surveillance de Dongcha Beating, Moonshot AI et l'Université Tsinghua ont publié le 16 avril sur arXiv un nouveau papier intitulé « Prefill-as-a-Service », proposant de faire fonctionner la phase de pré-remplissage (prefill) de l'inférence de grands modèles à travers plusieurs centres de données.
L'inférence de grands modèles se divise en deux étapes : le prefill lit une fois toutes les entrées et génère un cache KV ; le décode utilise ensuite ce cache pour produire le résultat caractère par caractère.
Les caractéristiques matérielles nécessaires pour ces deux étapes sont totalement différentes : le prefill consomme beaucoup de puissance de calcul, le décode nécessite une grande mémoire vidéo et une large bande passante.
La pratique courante dans l'industrie consiste à séparer ces deux étapes sur des machines différentes (séparation PD), mais cela exige une interconnexion RDMA dans le même centre de données, car le cache KV des modèles d'attention intensive peut atteindre plusieurs dizaines de Gbps par seconde, et si la transmission est lente, le GPU reste inactif.
La révolution vient de la nouvelle génération de modèles d'attention hybride.
Les expérimentations montrent que des modèles comme Kimi Linear, MiMo-V2-Flash, Ring-2.5-1T, en combinant quelques couches d'attention complètes avec de nombreuses couches linéaires, réduisent le débit du cache KV d'environ un ordre de grandeur, avec un ratio de compression global de 36 fois pour Ring-2.5-1T.
À ce moment-là, le cache KV peut être transféré du réseau privé RDMA vers un réseau Ethernet standard pour le décode.
La méthode spécifique de PrfaaS consiste à constituer un « cluster de pré-remplissage » dédié, qui ne route que les requêtes avec de longs contextes ou des préfixes non trouvés, tandis que les requêtes courtes restent dans le cluster PD local ; après le pré-remplissage, le cache KV est renvoyé via Ethernet au cluster local pour le décode.
Elle introduit également un routage basé sur un seuil de longueur, un ordonnanceur sensible à la bande passante et un pool de cache de préfixes hybrides.
Les expérimentations ont été réalisées avec un modèle hybride interne de 1T paramètres (basé sur l'architecture Kimi Linear), montrant que le débit global du service est supérieur de 54 % à celui d’un déploiement PD homogène, et de 32 % par rapport à une solution hétérogène naïve, tout en utilisant une bande passante inter-centre modérée par machine.
(Source : BlockBeats)

Voir l'original

Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.

10 J'aime

Récompense
10
8
2
Partager

Commentaire

Ajouter un commentaire

SlippageSailor

· Il y a 4h

PrfaaS, ce nom, le chef de produit sait comment nommer.

Voir l'originalRépondre0

ExitLiquidityPoet

· Il y a 8h

La stratégie de routage consiste à traiter localement les requêtes courtes et à envoyer à distance uniquement lorsque le contexte long n'est pas trouvé, cette stratégie est très fine.

Voir l'originalRépondre0

MetalReliefRoboticArm

· Il y a 9h

Conception de l'expérience comparative entre PD homomorphe, hétéromorphe et PrfaaS, cette conception est assez propre

Voir l'originalRépondre0

StopMessingAroundWithGasFees.

· Il y a 9h

Modèle de 1T paramètres testé en conditions réelles, oser utiliser un modèle aussi grand, c'est avoir une confiance suffisante

Voir l'originalRépondre0

GateUser-4590f4c6

· Il y a 9h

Vendre le remplissage automatique comme un service, est-ce qu'à l'avenir le remplissage automatique ne deviendrait pas plug-and-play ?

Voir l'originalRépondre0

MoonlightDisconnectSwitch

· Il y a 9h

Après avoir lu l'ensemble, ce que je veux surtout savoir, c'est quelle est la tolérance au taux de perte de paquets lors du déploiement réel.

Voir l'originalRépondre0

GlassDomeRoaming

· Il y a 9h

La planification sensible à la bande passante, en termes simples, c'est faire preuve d'ingéniosité face à la pauvreté, lorsque le coût du réseau est élevé, il faut faire des calculs précis.

Voir l'originalRépondre0

GlassFishTankArbitrage

· Il y a 9h

Le cache KV transmis par Ethernet, je pensais que c'était fou avant, et maintenant c'est devenu un article de recherche

Voir l'originalRépondre0

Sujets populaires
Afficher plus
#
WinGoldBarsWithGrowthPoints
1.23M Popularité
#
WTICrudeFallsBelow90Dollars
1.19M Popularité
#
IsraelStrikesIranBTCPlunges
51.51K Popularité
#
StockTradingChallengeUpTo17000U
198.25K Popularité
#
USIranNegotiationGame
9.42M Popularité

Épinglé

Le côté obscur de la lune et la nouvelle publication de Tsinghua : la pré-remplissage LLM peut traverser plusieurs centres de données, le débit du modèle de 1T augmente de 54 %

Sujets populaires

WinGoldBarsWithGrowthPoints

WTICrudeFallsBelow90Dollars

IsraelStrikesIranBTCPlunges

StockTradingChallengeUpTo17000U

USIranNegotiationGame

Épinglé