Me pareció muy interesante esta historia de NVIDIA con Groq. Básicamente, lo que Huang Renxun explicó ahora tiene mucho sentido estratégico.

Todo comenzó porque el mercado de inferencia cambió. Antes, todos se enfocaban en una sola cosa: aumentar el rendimiento, procesar más solicitudes al mismo tiempo. Pero luego la gente se dio cuenta de que no siempre funciona así en la práctica. Algunos usuarios están dispuestos a pagar más por respuestas más rápidas, independientemente del volumen total.

Es como esto: tienes dos modelos iguales, pero uno responde en 50ms y otro en 500ms. Si eres un ingeniero desarrollando una aplicación en tiempo real, ¿cuánto pagarías más por aquel que es 10 veces más rápido? Exacto, ese mercado de baja latencia es totalmente diferente al de alto rendimiento.

Ahí entra Groq en esta historia. La arquitectura LPU de ellos está justamente especializada en eso, en baja latencia determinista. Mientras las GPUs de NVIDIA dominan el lado del rendimiento masivo, Groq llena un hueco completamente diferente. Cuando miras el Groq 3 LPU que salió en marzo, hecho en 4nm por Samsung, la capacidad de inferencia por megavatio en modelos trilionarios es 35 veces mejor que el Blackwell NVL72. Eso no es poca cosa.

Lo que Huang básicamente está diciendo es que NVIDIA entendió que no existe un único mercado de inferencia, sino dos segmentos muy distintos con dinámicas de precios completamente diferentes. Puedes tener menor rendimiento, pero si el precio unitario por token es mucho más alto, compensa. Es como expandir la frontera de Pareto del mercado.

Esa fue una jugada muy bien pensada de NVIDIA, en realidad. Reconocieron una brecha y fueron tras ella. Jonathan Ross y el equipo de Groq siguen operando de forma independiente, pero ahora con todo el peso de NVIDIA detrás. Parece que finalmente alguien está pensando en inferencia de forma más sofisticada.