【AI+NVDA】Se informa que NVIDIA lanzará un chip de inferencia de IA en la conferencia GTC　¿Cuál es la diferencia con los chips Blackwell y Rubin?

Nvidia (EE. UU.: NVDA, Nvidia) está a punto de celebrar su conferencia anual GTC, y según fuentes de medios extranjeros, el CEO de Nvidia, Jensen Huang, planea presentar en la conferencia un chip enfocado en la “inferencia”, diseñado para ejecutar modelos en lugar de entrenarlos.

Se informa que este será el primer producto nuevo desde que Nvidia, en diciembre del año pasado, alcanzó un acuerdo de licencia tecnológica no exclusiva valorado en 20 mil millones de dólares con la startup de chips de IA Groq, tras la incorporación de su fundador y equipo central a Nvidia.

Groq es conocido por desarrollar unidades de procesamiento de lenguaje (Language Processing Unit, LPU), que responden rápidamente a consultas complejas de IA. Tres meses después de la firma del acuerdo, se espera que Nvidia lance una LPU basada en la arquitectura de Groq, que trabajará en conjunto con su próxima GPU insignia Vera Rubin, para hacer frente a la competencia y complementar una serie de productos destinados a nuevas aplicaciones de IA.

Se indica que en los últimos tres años, el enorme valor de mercado de Nvidia se ha basado principalmente en sus GPU, que se han convertido en la columna vertebral de la industria de la IA generativa, utilizadas para entrenar modelos como ChatGPT de OpenAI. Huang opina que un solo sistema puede ser utilizado tanto para entrenar nuevos modelos de IA como para ejecutar chatbots y herramientas de codificación construidos sobre estos modelos. Las grandes empresas tecnológicas ya han invertido miles de millones de dólares en desplegar estos sistemas, y también están invirtiendo en desarrollar sus propios chips de IA especializados. Además, con la creciente complejidad de las herramientas de IA, como los agentes inteligentes, Huang podría verse obligado a abandonar la idea de que “un solo GPU puede manejar cualquier carga de trabajo”.

El nuevo chip de inferencia se basa en SRAM en lugar de memoria HBM

Por otro lado, dado que los precios de la memoria HBM son elevados y su suministro cada vez más escaso, proveedores de memoria como SK Hynix y Micron podrían tener dificultades para satisfacer la demanda de IA. Los sistemas insignia de Nvidia, Blackwell y Rubin, dependen de memorias de alta ancho de banda para manejar las grandes cargas de datos que utilizan los modelos de IA.

Fuentes indican que este chip similar a Groq de Nvidia utilizará memoria de acceso aleatorio estático (SRAM) en lugar de la memoria dinámica de acceso aleatorio (DRAM) que emplean las HBM. La SRAM es más fácil de obtener y resulta más adecuada para acelerar las tareas de “inferencia” en IA.

Nvidia no ha hecho comentarios sobre estas informaciones.