Una cosa interesante le sucedió al mercado de inferencia de IA, de la que vale la pena hablar. NVIDIA adquirió Groq, y cuando Juan Rensun comenzó a explicar la lógica de esta adquisición, quedó claro que no era solo así.

Hasta ahora, todo el enfoque estaba en una cosa: cómo procesar más datos simultáneamente, es decir, en la capacidad de ancho de banda. Pero resulta que el mercado se ha dividido. Algunos usuarios están dispuestos a pagar un precio más alto para obtener una respuesta más rápida. Los tokens se han vuelto más caros, y el tiempo de generación comenzó a tener un costo real. Esto cambia todo el juego.

Por lo tanto, Groq se especializa precisamente en esto: en baja latencia. Su arquitectura LPU está diseñada para proporcionar una latencia determinista y predecible. Cuando NVIDIA adquirió Groq, básicamente llenaron un hueco en su cartera. Las GPU de NVIDIA siguen siendo reinas en capacidad de ancho de banda, pero para el segmento de baja latencia se necesita otra arquitectura.

El nuevo chip Groq 3 LPU es el primer producto tras la fusión, fabricado con tecnología de 4 nm. Según NVIDIA, su eficiencia al trabajar con modelos grandes supera en 35 veces a la de su buque insignia Blackwell NVL72. No se trata de velocidad absoluta, sino de cuánta potencia se necesita para alcanzar esa velocidad.

Prácticamente, esto significa que ahora se pueden ofrecer diferentes soluciones para distintas necesidades: si quieres máximo ancho de banda, hay GPU; si necesitas una respuesta rápida a cualquier costo, está Groq. El mismo modelo puede costar diferente dependiendo de qué tan rápido quieras el resultado. Esto amplía los límites de lo que se puede optimizar en el mercado de inferencia.