Nvidia, tras la adquisición de 20 mil millones de dólares de Groq, discute por primera vez su estrategia: la valoración de los tokens de inferencia debe basarse en la calidad, la baja latencia y el alto precio unitario son la nueva carrera.

ME News Noticias, 16 de abril (UTC+8), según Beating de Monitoreo de Movimiento, Huang Renxun explicó por primera vez en una entrevista la lógica estratégica detrás de la adquisición de Groq por parte de Nvidia. En diciembre del año pasado, Nvidia compró la división de chips de inferencia de Groq por 20 mil millones de dólares, el fundador de Groq, Jonathan Ross, y su equipo principal se unieron a Nvidia, y Groq continúa operando como una empresa independiente. En marzo de este año, en la conferencia GTC, Nvidia lanzó el primer chip después de la fusión, Groq 3 LPU, fabricado con tecnología de 4 nm de Samsung, Nvidia afirmó que su rendimiento de inferencia por megavatio en modelos de billones de parámetros es 35 veces mayor que el Blackwell NVL72. Huang Renxun dijo que la motivación para adquirir Groq es la estratificación del mercado de inferencia. Anteriormente, la optimización de inferencia solo tenía una dirección: aumentar el rendimiento. Pero el valor comercial del token ha aumentado significativamente, y diferentes usuarios están dispuestos a pagar diferentes precios por diferentes velocidades de respuesta. “Si puedo ofrecer a los ingenieros de software tokens con respuestas más rápidas, haciéndolos más eficientes que ahora, estaré dispuesto a pagar por ello. Pero este mercado no apareció hasta hace poco.” Él describió esto como una expansión de la frontera de Pareto en el mercado de inferencia: además de las soluciones de alto rendimiento existentes, se añade un segmento de mercado de baja latencia y alto precio unitario. Para el mismo modelo, la diferenciación de precios según el tiempo de respuesta, “aunque el rendimiento sea menor, el precio unitario puede compensar”. La arquitectura LPU de Groq es conocida por su baja latencia determinista, complementando la ruta de alto rendimiento de Nvidia GPU, y la adquisición llena una pieza que Nvidia había faltado en su línea de productos de inferencia. (Fuente: BlockBeats)