Nvidia discute sa stratégie après l'acquisition de 20 milliards de dollars de Groq : la tarification des tokens de raisonnement doit être basée sur la qualité, la faible latence et le prix élevé étant la nouvelle voie.

ME News Actualités, le 16 avril (UTC+8), selon le monitoring de Beating de Dongcha, Jensen Huang a expliqué en détail pour la première fois la logique stratégique derrière l’acquisition de Groq par Nvidia lors d’une interview. Nvidia a acquis en décembre dernier la division de puces d’inférence de Groq pour 20 milliards de dollars, le fondateur de Groq, Jonathan Ross, et l’équipe centrale ont rejoint Nvidia, et Groq continue d’opérer en tant qu’entreprise indépendante. Lors du GTC en mars, Nvidia a lancé la première puce après la fusion, la Groq 3 LPU, fabriquée par Samsung en procédé 4nm, Nvidia affirmant que son débit d’inférence par mégawatt sur un modèle de milliards de paramètres est 35 fois supérieur à celui du Blackwell NVL72.
Jensen Huang a déclaré que la motivation derrière l’acquisition de Groq était la stratification du marché de l’inférence. Auparavant, l’optimisation de l’inférence n’avait qu’une seule direction : augmenter le débit. Mais la valeur commerciale des tokens a considérablement augmenté, et différents utilisateurs sont prêts à payer des prix différents pour des réponses à des vitesses différentes. « Si je peux fournir aux ingénieurs logiciels des tokens avec une réponse plus rapide, leur permettant d’être plus efficaces qu’actuellement, je suis prêt à payer pour cela. Mais ce marché n’est apparu que récemment. »
Il a décrit cela comme une extension de la frontière de Pareto du marché de l’inférence : en plus des solutions à haut débit existantes, un nouveau segment de marché à faible latence et à prix élevé est créé. Pour un même modèle, en différenciant par le temps de réponse, « bien que le débit soit plus faible, le prix unitaire peut compenser ». L’architecture LPU de Groq, réputée pour sa faible latence déterministe, complète la voie à haut débit des GPU Nvidia, et cette acquisition comble une lacune dans la gamme de produits d’inférence de Nvidia. (Source : BlockBeats)