Nvidia, tras adquirir Groq por 20 mil millones de dólares, discute por primera vez su estrategia: la valoración de tokens de inferencia debe basarse en calidad, y la baja latencia con alto precio unitario es una nueva carrera.

ME News Noticias, 16 de abril (UTC+8), según Beating de monitoreo de movimiento, Jensen Huang explicó por primera vez en una entrevista la lógica estratégica detrás de la adquisición de Groq por parte de Nvidia. En diciembre del año pasado, Nvidia adquirió la división de chips de inferencia de Groq por 20 mil millones de dólares, los fundadores de Groq, Jonathan Ross y su equipo central, se unieron a Nvidia, y Groq continúa operando como una compañía independiente. En marzo de este año, en la conferencia GTC, Nvidia lanzó el primer chip tras la adquisición, Groq 3 LPU, fabricado con tecnología de 4nm de Samsung, Nvidia afirmó que su rendimiento de inferencia por megavatio en modelos de billones de parámetros es 35 veces mayor que el Blackwell NVL72. Jensen Huang dijo que la motivación para adquirir Groq es la estratificación del mercado de inferencia. Anteriormente, la optimización de inferencia solo tenía una dirección: aumentar el rendimiento. Pero el valor comercial de los tokens ha aumentado significativamente, y diferentes usuarios están dispuestos a pagar diferentes precios por diferentes velocidades de respuesta. “Si puedo ofrecer a los ingenieros de software tokens con respuestas más rápidas, haciéndolos más eficientes que ahora, estaré dispuesto a pagar por ello. Pero este mercado no apareció hasta hace poco.” Él describió esto como una expansión de la frontera de Pareto en el mercado de inferencia: además de las soluciones de alto rendimiento existentes, se añade un segmento de mercado de baja latencia y alto precio unitario. Para el mismo modelo, la diferenciación de precios según el tiempo de respuesta, “aunque tenga menor rendimiento, el precio unitario puede compensar”. La arquitectura LPU de Groq es conocida por su baja latencia determinista, complementando la ruta de alto rendimiento de las GPU de Nvidia, y la adquisición llena un vacío que Nvidia tenía en su línea de productos de inferencia. (Fuente: BlockBeats)