Nvidia lance sa première puce Groq LPX : combinée avec Vera Rubin, l'efficacité d'inférence par mégawatt augmente jusqu'à 35 fois, et présente le prototype de la prochaine génération Kyber

Selon CoinWorld, d’après la surveillance de 1M AI News, le Groq 3 LPU (Unité de traitement du langage) est la première puce lancée par Nvidia après l’acquisition en décembre dernier de la startup spécialisée dans les puces d’inférence AI Groq, pour environ 20 milliards de dollars. La livraison est prévue pour le troisième trimestre de cette année. Le rack Groq 3 LPX peut accueillir 256 LPUs, équipé de 128 Go de SRAM intégré et d’une bande passante d’interconnexion extensible de 640 To par seconde. Selon le communiqué officiel, lorsque le LPX est déployé avec Vera Rubin NVL72, le débit d’inférence par mégawatt peut augmenter jusqu’à 35 fois, tout en débloquant le potentiel de revenus pour des scénarios d’inférence avec des trillions de paramètres et des millions de tokens de contexte. Jensen Huang décrit ces deux processeurs comme “des extrêmes opposés mais unifiés : l’un visant un débit élevé, l’autre une faible latence”, le mémoire intégré du LPX augmentant considérablement la capacité totale de mémoire disponible pour les modèles. Le rack LPX est prévu pour être lancé en seconde moitié cette année, en même temps que la plateforme Vera Rubin. Lors de la conférence, Huang a également présenté un prototype de l’architecture de rack de nouvelle génération, nom de code Kyber. Kyber remplace la disposition horizontale des 144 GPU par une configuration verticale pour augmenter la densité physique et réduire la latence, et sera intégré à la plateforme Vera Rubin Ultra, successeur de Vera Rubin, prévue pour 2027.