Conversation avec le vice-président des affaires de Nvidia : le « moment ChatGPT » des robots arrive

Il peut être plus difficile que jamais de comprendre Nvidia aujourd’hui, mais cette entreprise qui influence le développement de nombreux domaines de l’IA mérite toujours d’être explorée pour comprendre comment elle esquisse l’avenir de l’IA.

Les signaux d’expansion des activités de Nvidia deviennent évidents. Lors de cette GTC, Nvidia a présenté des produits couvrant des accélérateurs pour centres de données, des racks, des produits réseau et plusieurs modèles open source. Les mots-clés tels que CUDA, GPU, LPU (Unité de traitement linguistique), usine d’IA, robotique, conduite autonome, modèles open source ont été fréquemment mentionnés dans le discours du PDG Jensen Huang. Cette entreprise, célèbre pour ses GPU, semble désormais plus appropriée à la définir comme un fournisseur intégrant plusieurs segments de l’infrastructure IA ou de l’usine d’IA.

Même dans le seul domaine des accélérateurs pour centres de données, la variété des produits Nvidia s’est accrue. En plus de la plateforme Rubin, une LPU a été ajoutée. La LPU, initialement conçue comme un circuit intégré spécifique (ASIC), se positionne différemment du GPU généraliste. Cependant, après l’acquisition de l’autorisation de Groq, Nvidia a commencé à combiner ces deux types de puces.

En dehors de ses 60 % d’activité auprès de grands fournisseurs de cloud, Nvidia s’est également lancée dans un secteur plus complexe représentant 40 % de ses activités, avec notamment la conduite autonome et la robotique comme deux axes majeurs. Pour déployer l’IA physique, Nvidia ne se limite pas au hardware, mais développe aussi des plateformes de conduite autonome et des modèles.

Il peut être plus difficile que jamais de comprendre Nvidia aujourd’hui, mais cette entreprise qui influence le développement de nombreux domaines de l’IA mérite toujours d’être explorée pour comprendre comment elle esquisse l’avenir de l’IA. Lors du GTC, un entretien a été mené avec Ian Buck, vice-président de la haute performance et du calcul à grande échelle chez Nvidia, ainsi qu’avec Rev Lebaredian, vice-président de l’Omniverse et de la simulation, pour tenter d’analyser la philosophie de certains produits, la phénoménale hétérogénéité des puces, la stratégie d’implantation de l’IA physique, et pourquoi l’« instant ChatGPT » pour les robots est en train d’arriver.

Pourquoi le GPU reste dominant

Basée sur la technologie Groq, Nvidia a lancé lors de cette GTC la puce LPU Groq 3 et le rack Groq 3 LPX. Selon les informations, le Groq 3 LPX, utilisé avec le CPU et le GPU Rubin, peut augmenter par 35 fois le débit d’inférence par mégawatt. Il sera intégré dans la prochaine génération d’usines d’IA Vera Rubin dès le second semestre de cette année.

L’arrivée du Groq 3 permet de ne plus considérer le GPU comme la seule forme d’accélération pour centres de données de Nvidia. La question de savoir comment le camp GPU peut faire face à la concurrence des ASIC a été longtemps discutée. Fin 2022, Nvidia a conclu un accord non exclusif de propriété intellectuelle avec Groq, en intégrant ses fondateurs Jonathan Ross, le président Sunny Madra et d’autres membres clés, ce qui est interprété comme une réponse stratégique face aux défis du marché. La faible latence d’inférence est une caractéristique clé du LPU Groq. En intégrant le LPU dans sa gamme de produits, que cherche Nvidia ?

Selon Jensen Huang, chaque token provenant de modèles de différentes tailles diffère. Le Rubin reste un support important pour la production de tokens, mais de nouveaux marchés se développent. Les modèles deviennent plus grands, le contexte s’allonge, ce qui exige une inférence très rapide. La combinaison de nouvelles puces permet de répondre à ces divers besoins.

Ian Buck explique : le Groq 3 LPU peut être considéré comme un « pack d’amélioration » pour Rubin. Doté d’une SRAM ultra-rapide pour le calcul flottant, il a ses limites. Si l’on utilise uniquement le LPU pour faire tourner un modèle de trillion de paramètres, il faudrait plusieurs dizaines de racks, ce qui n’est pas scalable, coûteux et peu efficace. En revanche, en combinant un rack LPX avec Rubin, on peut exploiter les caractéristiques des deux puces : toutes les opérations d’attention peuvent être effectuées sur le GPU, tandis que toutes les opérations matricielles de modèles experts peuvent être réalisées sur le LPU.

« Pour la majorité des chatbots ou systèmes de recommandation actuels, la majorité du marché de l’IA continuera à utiliser Rubin, le LPU ne les remplacera pas. Mais pour la prochaine génération d’agents intelligents, avec des modèles de trillion de paramètres, des contextes de dizaines de milliers de tokens, et une vitesse de plusieurs milliers de tokens par seconde, la combinaison des deux puces devient envisageable », explique Ian Buck.

D’autres fabricants de GPU, comme AMD, ont également expérimenté avec différents types de puces. Fin février, AMD a annoncé une collaboration avec Meta pour concevoir des puces semi-personnalisées. Plus tôt ce mois-ci, Su Zifeng expliquait que l’infrastructure IA devenait complexe, avec de multiples charges de travail, qu’il s’agisse d’entraînement ou d’inférence, de grands ou de petits modèles, nécessitant différents types de calculs. « Dans la prochaine étape de l’infrastructure IA, aucune seule puce ne pourra tout faire parfaitement. Nous vivons dans un monde hétérogène. Il faut aussi considérer le coût par watt, et maximiser l’efficacité lors de l’exécution de charges de travail IA. Il y aura toujours une place pour les ASIC dans cette demande de calcul », a-t-il déclaré, en cohérence avec la vision de Jensen Huang.

Mais à mesure que les puces deviennent hétérogènes, les ASIC vont-ils prendre une place de plus en plus importante, défiant la position des GPU programmables et généralistes ? Surtout lorsque certains ASIC spécialisés pour des charges spécifiques offrent des avantages en termes de vitesse et de coût.

Selon Ian Buck, il s’agit d’un équilibre entre répondre à des besoins de calcul précis et préserver l’innovation programmable de la plateforme. « Nous pouvons concevoir un ASIC pour GPT-OSS, et dans des environnements extrêmes, utiliser le modèle pour fabriquer la puce. Je suis convaincu que cela serait efficace. Mais ce modèle, une fois réalisé, sera figé dans le silicium, ce qui empêchera toute optimisation future, y compris logicielle, pour le rendre plus rapide, plus intelligent ou plus extensible », explique-t-il.

Ian Buck indique que DeepSeek-R1, lancé il y a un an, a vu ses performances s’améliorer grâce à l’apprentissage de nouvelles méthodes et à l’optimisation des modèles experts hybrides sur GPU. « Cela a été rendu possible parce que ces puces sont ouvertes et configurables. De nouvelles méthodes d’exécution de modèles experts hybrides ont été découvertes, comme le parallélisme tensoriel, le parallélisme large, le pipeline parallèle, et la transition du FP16 au FP8, FP4. La programmabilité de la plateforme permet d’augmenter la performance par plusieurs fois, tout en réduisant les coûts et en augmentant les revenus », précise-t-il.

Il donne un exemple : 400 ingénieurs logiciels de Nvidia ont passé environ 4 mois, soit 1,2 million d’heures de simulation GPU, pour accélérer DeepSeek-R1. Ils ont trouvé 38 optimisations logicielles, permettant de quadrupler la performance sur le même GPU, simplement par optimisation logicielle.

« Nous pouvons rendre très spécifique le traitement de différentes charges de travail, voire coder en dur le modèle dans la puce, mais cela ferait manquer l’opportunité de développer de nouvelles algorithmes et technologies. Nous avons constaté que 95 % des optimisations et innovations basées sur la programmabilité profiteront à tous les modèles de l’écosystème, rendant le prochain modèle plus intelligent », confie Ian Buck.

Concernant l’intégration de Groq dans l’écosystème CUDA, Ian Buck indique que si la première génération de LPU n’est pas encore prête, Nvidia prévoit d’ouvrir l’environnement de programmation LPU dans le futur, en discutant de l’utilisation de CUDA ou d’autres moyens.

Pour poser les bases de l’IA physique

Lors de cette GTC, Nvidia a également annoncé plusieurs avancées dans le domaine de l’IA physique. En robotique, Nvidia a lancé le cadre de simulation Isaac, ainsi que Cosmos et le modèle open source Isaac GROOT, pour le développement, la formation et le déploiement de robots, Cosmos étant le premier modèle unifié pour la génération de mondes synthétiques, la déduction physique et la simulation d’actions. En conduite autonome, Nvidia a présenté le modèle d’inférence VLA (Vision Language Action) Alpamayo 1.5, destiné à renforcer la capacité de raisonnement des véhicules autonomes.

Nvidia ne se limite plus à fournir du hardware pour l’IA physique, mais déploie de plus en plus de logiciels, en ouvrant des modèles en profondeur.

Rev Lebaredian explique que, pour l’instant, l’open source est plus important que jamais. Nvidia investit massivement dans la recherche et la technologie open source, notamment pour l’IA physique, car il est impossible pour une seule entreprise de construire seule cette technologie. La contribution collective est essentielle pour faire arriver l’instant ChatGPT pour les robots. En tant que « connecteur » de l’écosystème, Nvidia joue un rôle central dans cette dynamique.

Il explique que le développement de modèles mondiaux fondamentaux repose sur des lois physiques plutôt que sur des règles linguistiques. Cosmos étant open source, il permet à toute entreprise de l’utiliser dans ses calculs et pour diverses applications, en fournissant aussi les données, les frameworks et les plans nécessaires à la création de modèles. « La raison pour laquelle nous faisons cela, c’est que nous sommes encore loin de la réalisation complète de l’IA physique et de la robotique, et que l’open source est un moteur essentiel. Beaucoup de fabricants de modèles mondiaux utilisent Cosmos pour entraîner et évaluer leurs modèles, faisant de l’IA un autre enseignant pour l’IA. »

Concernant les différentes phases de développement de l’IA physique, Rev Lebaredian indique que pour la conduite autonome, le défi est passé de la recherche à l’ingénierie, avec une volonté d’étendre la flotte de véhicules. Pour la robotique générale, la situation est différente : le défi réside dans chaque dimension, notamment l’absence de corps robotique performant, de mains efficaces, et la nécessité d’améliorer capteurs, moteurs, batteries.

Il souligne que même avec un corps robotique parfait, il reste encore beaucoup à faire pour que les robots soient utilisables : il faut encore beaucoup d’ingénieurs pour programmer ces machines, leur faire réaliser des tâches simples. La période actuelle est critique : la technologie commence à rendre les robots intelligents, et l’instant ChatGPT pour les robots est en train d’arriver. La connexion entre technologie et application se renforce, par exemple en utilisant la déduction pour générer des données nécessaires à l’entraînement des robots.