Acabo de ver una noticia muy importante sobre la adquisición que hizo Nvidia. La compañía adquirió la división de chips de inferencia de Groq por 20 mil millones de dólares en diciembre pasado, y este movimiento empieza a tener un significado más claro ahora.

Huang Rensho, CEO de Nvidia, explicó en una entrevista reciente la verdadera razón detrás de esta decisión estratégica. Resulta que el tema no es solo un aumento de productividad normal, sino que Nvidia apunta a un mercado completamente nuevo: el mercado de inferencia de baja latencia y alto valor. Este mercado ha comenzado a aparecer recientemente cuando los usuarios empezaron a pagar diferentes precios según la velocidad de respuesta.

La idea es simple pero poderosa: si puedo ofrecer tokens con menor retraso para los programadores, significa que podrán trabajar con mayor eficiencia, y estarán dispuestos a pagar más. Huang describió el tema como una expansión de los límites del mercado - es decir, agregar un sector completamente nuevo en lugar de centrarse solo en la alta productividad.

El primer producto tras la adquisición apareció en marzo: Groq 3 LPU, fabricado con tecnología de 4 nanómetros de Samsung. Las cifras son impresionantes: la productividad de inferencia por megavatio en modelos con billones de parámetros alcanza hasta 35 veces más que Blackwell NVL72. La arquitectura de Groq es conocida por su bajo y predecible retraso, y eso era exactamente lo que faltaba en la línea de productos de Nvidia.

El concepto es muy inteligente: el mismo modelo, pero con precios diferentes según el tiempo de respuesta. Incluso si la productividad es menor, el precio más alto compensa eso. Groq llenó el vacío que existía en la estrategia de Nvidia, y claramente el mercado empieza a dividirse en diferentes segmentos.