Estos tres nuevos chips de IA de Nvidia no son "versiones mejoradas", sino "versiones reducidas", de las cuales HGX H20 está limitado en términos de ancho de banda y velocidad de cómputo, y se espera que el precio de H20 disminuya, pero seguirá siendo más alto que el chip de IA doméstico 910B.
Fuente original: Titanium Media
Autor: Lin Zhijia
Fuente de la imagen: Generado por Unbounded AI
El 10 de noviembre, se informó recientemente que el gigante de los chips NVIDIA (NVIDIA) lanzará tres chips de IA para el mercado chino basados en H100 en respuesta a los últimos controles de exportación de chips en los Estados Unidos.
Según el documento de especificaciones, Nvidia pronto lanzará nuevos productos para clientes chinos llamados HGX H20, L20 PCle y L2 PCle, que se basan en las arquitecturas Hopper y Ada Lovelace de Nvidia. A juzgar por las especificaciones y el nombre, los tres productos están dirigidos a escenarios de entrenamiento, inferencia y borde, y se anunciarán el 16 de noviembre como muy pronto, el tiempo de entrega de muestras de productos es de noviembre a diciembre de este año y el tiempo de producción en masa es de diciembre de este año a enero del próximo año.
** La aplicación Titanium Media se enteró por varias empresas de la cadena de la industria de NVIDIA que la noticia anterior es cierta. **
Titanium Media App también se enteró en exclusiva de que los tres chips de IA de NVIDIA no son "versiones mejoradas", sino "versiones reducidas". En teoría, la potencia de cálculo general es aproximadamente un 80 % inferior a la del chip de GPU NVIDIA H100, es decir, H20 equivale al 20 % del rendimiento de potencia de cálculo integral de H100, y la adición de memoria de vídeo HBM y módulos de interconexión NVLink mejora el coste de la potencia de cálculo. Por lo tanto, aunque el precio de HGX H20 disminuirá en comparación con H100, se espera que el precio de este producto siga siendo más alto que el del chip de IA doméstico 910B.
"Esto equivale a ensanchar los carriles de la autopista, pero la entrada del peaje no se ensancha, lo que limita el tráfico. También técnicamente, a través del bloqueo de hardware y software, el rendimiento del chip se puede controlar con precisión y no es necesario reemplazar la línea de producción a gran escala, incluso si se actualiza el hardware, el rendimiento aún se puede ajustar según sea necesario. En la actualidad, el nuevo H20 tiene un rendimiento "atascado" desde la fuente. Una fuente de la industria explicó el nuevo chip H20: "Por ejemplo, solía tardar 20 días en ejecutar una tarea con H100, pero ahora puede tardar 100 días en volver a ejecutarse". "
A pesar de la publicación de una nueva ronda de restricciones de chips en los Estados Unidos, Nvidia no parece haber renunciado al enorme mercado de poder de cómputo de IA de China.
Entonces, ¿se pueden reemplazar los chips domésticos?Titanium Media App aprendió que después de las pruebas, ** en la actualidad, en términos de inferencia de modelos grandes, el chip de IA doméstico 910B solo puede alcanzar alrededor del 60% -70% de A100, y el entrenamiento del modelo del clúster es insostenible; Al mismo tiempo, 910B es mucho más alto que los productos de la serie Nvidia A100 / H100 en términos de consumo de energía informática y calentamiento, y no es compatible con CUDA, lo que es difícil de satisfacer completamente las necesidades de entrenamiento de modelos de los centros de computación inteligente a largo plazo. **
**Hasta ahora, Nvidia no ha hecho ningún comentario oficial al respecto. **
Se informa que el 17 de octubre de este año, la Oficina de Industria y Seguridad (BIS) del Departamento de Comercio de EE. UU. emitió nuevas reglas de control de exportación para chips, imponiendo nuevos controles de exportación a productos semiconductores, incluidos los chips de IA de alto rendimiento de Nvidia, y las restricciones entraron en vigencia el 23 de octubre. La presentación de Nvidia ante la SEC de EE.UU. muestra que los productos prohibidos que entran en vigor de inmediato incluyen A800, H800 y L40S, los chips de IA más potentes.
Además, los procesadores de chip L40 y RTX 4090 conservan la ventana original de 30 días.
El 31 de octubre, hubo noticias de que Nvidia podría verse obligada a cancelar un pedido de chips avanzados por valor de 5.000 millones de dólares, y el precio de las acciones de Nvidia cayó bruscamente debido a la noticia. Anteriormente, los A800 y H800 de Nvidia suministrados exclusivamente para China no podían venderse normalmente en el mercado chino debido a las nuevas regulaciones en los Estados Unidos, y estos dos chips se llamaron las "versiones castradas" de A100 y H100, y Nvidia redujo el rendimiento del chip para cumplir con las regulaciones anteriores en los Estados Unidos.
El 31 de octubre, Zhang Xin, portavoz del Consejo Chino para la Promoción del Comercio Internacional, dijo que las normas de control de exportación de semiconductores recientemente emitidas por Estados Unidos a China han endurecido aún más las restricciones a la exportación de chips relacionados con la inteligencia artificial y equipos de fabricación de semiconductores a China, e incluyeron a varias entidades chinas en la "lista de entidades" de control de exportaciones. Estas medidas de los Estados Unidos han violado gravemente los principios de la economía de mercado y las normas económicas y comerciales internacionales, y han exacerbado el riesgo de desgarro y fragmentación de la cadena mundial de suministro de semiconductores. La prohibición de las exportaciones de chips a China implementada por Estados Unidos desde la segunda mitad de 2022 está cambiando profundamente la oferta y la demanda mundiales, provocando un desequilibrio en el suministro de chips en 2023, afectando el patrón de la industria mundial de chips y perjudicando los intereses de las empresas de varios países, incluidas las empresas chinas.
Comparación de los parámetros de rendimiento de NVIDIA HGX H20, L20, L2 y otros productos
Titanium Media App ha aprendido, Los nuevos productos de chips de IA HGX H20, L20 y L2 se basan en las arquitecturas Hopper y Ada de NVIDIA, respectivamente, que son adecuadas para el entrenamiento en la nube, la inferencia en la nube y la inferencia perimetral.
Entre ellos, los productos de inferencia de IA de los dos últimos L20 y L2 tienen soluciones similares de "sustitución doméstica" y compatibles con CUDA, mientras que HGX H20 se basa en H100 y productos de chips de entrenamiento de IA a través de la castración de firmware, reemplazando principalmente a A100 / H800.
Según los documentos, el nuevo H20 cuenta con tecnología de empaquetado avanzada CoWoS, y ha añadido una HBM3 (memoria de alto rendimiento) a 96 GB, pero el coste también ha aumentado en 240 dólares; La potencia de cálculo densa del FP16 de H20 alcanza los 148TFLOPS (billones de operaciones de coma flotante por segundo), lo que supone aproximadamente el 15% de la potencia de cálculo de H100, por lo que es necesario añadir algoritmos adicionales y costes de personal. NVLink se actualizará de 400 GB/s a 900 GB/s, por lo que la tasa de interconexión mejorará considerablemente.
De acuerdo con la evaluación, H100/H800 es el esquema de práctica principal de los clústeres de potencia de cómputo. Entre ellos, el límite teórico de H100 es de 50.000 tarjetas y la potencia de cálculo máxima es de 100.000 P, el clúster de práctica máximo de H800 es de 20.000-30.000 tarjetas, con un total de 40.000 P de potencia de cálculo, y el clúster de práctica máximo de A100 es de 16.000 tarjetas y la potencia de cálculo máxima es de 9600P.
Sin embargo, el límite teórico del nuevo chip H20 es de 50.000 tarjetas, pero la potencia de cálculo de cada tarjeta es de 0,148P, y la potencia de cálculo total es de casi 7400P, que es inferior a la de H100/H800 y A100. Por lo tanto, la escala del clúster H20 está lejos de la escala teórica de H100 y, según la estimación de la potencia de cálculo y el equilibrio de comunicación, la potencia de cálculo total media razonable es de aproximadamente 3000P, y es necesario agregar más costos y más potencia de cálculo para completar el entrenamiento del modelo de parámetros de nivel 100 mil millones.
** Dos expertos de la industria de semiconductores dijeron a Titanium Media App que, según la estimación de los parámetros de rendimiento actuales, es muy probable que los productos de GPU Nvidia B100 ya no se vendan en el mercado chino el próximo año. **
En general, si una gran empresa de modelos quiere llevar a cabo el entrenamiento de modelos grandes con parámetros como GPT-4, la escala del clúster de potencia informática es el núcleo y, en la actualidad, solo H800 y H100 pueden ser competentes para el entrenamiento de modelos grandes, mientras que el rendimiento del 910B doméstico está entre A100 y H100, que es solo una "opción de respaldo de último recurso".
Ahora, el nuevo H20 lanzado por Nvidia es más adecuado para el entrenamiento y la inferencia de modelos verticales, que no pueden satisfacer las necesidades de entrenamiento de modelos grandes de nivel de billón, pero el rendimiento general es ligeramente superior al del 910B, junto con la ecología CUDA de NVIDIA, bloqueando así el único camino de elección para las tarjetas nacionales en el mercado de chips de IA de China en el futuro bajo la orden de restricción de chips de EE. UU.
Según el último informe financiero, en el trimestre finalizado el 30 de julio, más del 85% de las ventas de 13.500 millones de dólares de Nvidia provinieron de Estados Unidos y China, y solo alrededor del 14% de las ventas provinieron de otros países y regiones.
Afectada por las noticias del H20, al cierre de la bolsa estadounidense del 9 de noviembre, el precio de las acciones de Nvidia subió ligeramente un 0,81% para cerrar en 469,5 dólares por acción. En los últimos cinco días de negociación, Nvidia ha subido más de un 10%, con el último valor de mercado de 1,16 billones de dólares.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Nvidia bloquea los chips de IA nacionales, y la potencia de cálculo integral del H20 "China Special Edition" es un 80% menor que la del H100
Fuente original: Titanium Media
Autor: Lin Zhijia
El 10 de noviembre, se informó recientemente que el gigante de los chips NVIDIA (NVIDIA) lanzará tres chips de IA para el mercado chino basados en H100 en respuesta a los últimos controles de exportación de chips en los Estados Unidos.
Según el documento de especificaciones, Nvidia pronto lanzará nuevos productos para clientes chinos llamados HGX H20, L20 PCle y L2 PCle, que se basan en las arquitecturas Hopper y Ada Lovelace de Nvidia. A juzgar por las especificaciones y el nombre, los tres productos están dirigidos a escenarios de entrenamiento, inferencia y borde, y se anunciarán el 16 de noviembre como muy pronto, el tiempo de entrega de muestras de productos es de noviembre a diciembre de este año y el tiempo de producción en masa es de diciembre de este año a enero del próximo año.
** La aplicación Titanium Media se enteró por varias empresas de la cadena de la industria de NVIDIA que la noticia anterior es cierta. **
Titanium Media App también se enteró en exclusiva de que los tres chips de IA de NVIDIA no son "versiones mejoradas", sino "versiones reducidas". En teoría, la potencia de cálculo general es aproximadamente un 80 % inferior a la del chip de GPU NVIDIA H100, es decir, H20 equivale al 20 % del rendimiento de potencia de cálculo integral de H100, y la adición de memoria de vídeo HBM y módulos de interconexión NVLink mejora el coste de la potencia de cálculo. Por lo tanto, aunque el precio de HGX H20 disminuirá en comparación con H100, se espera que el precio de este producto siga siendo más alto que el del chip de IA doméstico 910B.
"Esto equivale a ensanchar los carriles de la autopista, pero la entrada del peaje no se ensancha, lo que limita el tráfico. También técnicamente, a través del bloqueo de hardware y software, el rendimiento del chip se puede controlar con precisión y no es necesario reemplazar la línea de producción a gran escala, incluso si se actualiza el hardware, el rendimiento aún se puede ajustar según sea necesario. En la actualidad, el nuevo H20 tiene un rendimiento "atascado" desde la fuente. Una fuente de la industria explicó el nuevo chip H20: "Por ejemplo, solía tardar 20 días en ejecutar una tarea con H100, pero ahora puede tardar 100 días en volver a ejecutarse". "
A pesar de la publicación de una nueva ronda de restricciones de chips en los Estados Unidos, Nvidia no parece haber renunciado al enorme mercado de poder de cómputo de IA de China.
Entonces, ¿se pueden reemplazar los chips domésticos?Titanium Media App aprendió que después de las pruebas, ** en la actualidad, en términos de inferencia de modelos grandes, el chip de IA doméstico 910B solo puede alcanzar alrededor del 60% -70% de A100, y el entrenamiento del modelo del clúster es insostenible; Al mismo tiempo, 910B es mucho más alto que los productos de la serie Nvidia A100 / H100 en términos de consumo de energía informática y calentamiento, y no es compatible con CUDA, lo que es difícil de satisfacer completamente las necesidades de entrenamiento de modelos de los centros de computación inteligente a largo plazo. **
**Hasta ahora, Nvidia no ha hecho ningún comentario oficial al respecto. **
Se informa que el 17 de octubre de este año, la Oficina de Industria y Seguridad (BIS) del Departamento de Comercio de EE. UU. emitió nuevas reglas de control de exportación para chips, imponiendo nuevos controles de exportación a productos semiconductores, incluidos los chips de IA de alto rendimiento de Nvidia, y las restricciones entraron en vigencia el 23 de octubre. La presentación de Nvidia ante la SEC de EE.UU. muestra que los productos prohibidos que entran en vigor de inmediato incluyen A800, H800 y L40S, los chips de IA más potentes.
Además, los procesadores de chip L40 y RTX 4090 conservan la ventana original de 30 días.
El 31 de octubre, hubo noticias de que Nvidia podría verse obligada a cancelar un pedido de chips avanzados por valor de 5.000 millones de dólares, y el precio de las acciones de Nvidia cayó bruscamente debido a la noticia. Anteriormente, los A800 y H800 de Nvidia suministrados exclusivamente para China no podían venderse normalmente en el mercado chino debido a las nuevas regulaciones en los Estados Unidos, y estos dos chips se llamaron las "versiones castradas" de A100 y H100, y Nvidia redujo el rendimiento del chip para cumplir con las regulaciones anteriores en los Estados Unidos.
El 31 de octubre, Zhang Xin, portavoz del Consejo Chino para la Promoción del Comercio Internacional, dijo que las normas de control de exportación de semiconductores recientemente emitidas por Estados Unidos a China han endurecido aún más las restricciones a la exportación de chips relacionados con la inteligencia artificial y equipos de fabricación de semiconductores a China, e incluyeron a varias entidades chinas en la "lista de entidades" de control de exportaciones. Estas medidas de los Estados Unidos han violado gravemente los principios de la economía de mercado y las normas económicas y comerciales internacionales, y han exacerbado el riesgo de desgarro y fragmentación de la cadena mundial de suministro de semiconductores. La prohibición de las exportaciones de chips a China implementada por Estados Unidos desde la segunda mitad de 2022 está cambiando profundamente la oferta y la demanda mundiales, provocando un desequilibrio en el suministro de chips en 2023, afectando el patrón de la industria mundial de chips y perjudicando los intereses de las empresas de varios países, incluidas las empresas chinas.
Titanium Media App ha aprendido, Los nuevos productos de chips de IA HGX H20, L20 y L2 se basan en las arquitecturas Hopper y Ada de NVIDIA, respectivamente, que son adecuadas para el entrenamiento en la nube, la inferencia en la nube y la inferencia perimetral.
Entre ellos, los productos de inferencia de IA de los dos últimos L20 y L2 tienen soluciones similares de "sustitución doméstica" y compatibles con CUDA, mientras que HGX H20 se basa en H100 y productos de chips de entrenamiento de IA a través de la castración de firmware, reemplazando principalmente a A100 / H800.
Según los documentos, el nuevo H20 cuenta con tecnología de empaquetado avanzada CoWoS, y ha añadido una HBM3 (memoria de alto rendimiento) a 96 GB, pero el coste también ha aumentado en 240 dólares; La potencia de cálculo densa del FP16 de H20 alcanza los 148TFLOPS (billones de operaciones de coma flotante por segundo), lo que supone aproximadamente el 15% de la potencia de cálculo de H100, por lo que es necesario añadir algoritmos adicionales y costes de personal. NVLink se actualizará de 400 GB/s a 900 GB/s, por lo que la tasa de interconexión mejorará considerablemente.
De acuerdo con la evaluación, H100/H800 es el esquema de práctica principal de los clústeres de potencia de cómputo. Entre ellos, el límite teórico de H100 es de 50.000 tarjetas y la potencia de cálculo máxima es de 100.000 P, el clúster de práctica máximo de H800 es de 20.000-30.000 tarjetas, con un total de 40.000 P de potencia de cálculo, y el clúster de práctica máximo de A100 es de 16.000 tarjetas y la potencia de cálculo máxima es de 9600P.
Sin embargo, el límite teórico del nuevo chip H20 es de 50.000 tarjetas, pero la potencia de cálculo de cada tarjeta es de 0,148P, y la potencia de cálculo total es de casi 7400P, que es inferior a la de H100/H800 y A100. Por lo tanto, la escala del clúster H20 está lejos de la escala teórica de H100 y, según la estimación de la potencia de cálculo y el equilibrio de comunicación, la potencia de cálculo total media razonable es de aproximadamente 3000P, y es necesario agregar más costos y más potencia de cálculo para completar el entrenamiento del modelo de parámetros de nivel 100 mil millones.
** Dos expertos de la industria de semiconductores dijeron a Titanium Media App que, según la estimación de los parámetros de rendimiento actuales, es muy probable que los productos de GPU Nvidia B100 ya no se vendan en el mercado chino el próximo año. **
En general, si una gran empresa de modelos quiere llevar a cabo el entrenamiento de modelos grandes con parámetros como GPT-4, la escala del clúster de potencia informática es el núcleo y, en la actualidad, solo H800 y H100 pueden ser competentes para el entrenamiento de modelos grandes, mientras que el rendimiento del 910B doméstico está entre A100 y H100, que es solo una "opción de respaldo de último recurso".
Ahora, el nuevo H20 lanzado por Nvidia es más adecuado para el entrenamiento y la inferencia de modelos verticales, que no pueden satisfacer las necesidades de entrenamiento de modelos grandes de nivel de billón, pero el rendimiento general es ligeramente superior al del 910B, junto con la ecología CUDA de NVIDIA, bloqueando así el único camino de elección para las tarjetas nacionales en el mercado de chips de IA de China en el futuro bajo la orden de restricción de chips de EE. UU.
Según el último informe financiero, en el trimestre finalizado el 30 de julio, más del 85% de las ventas de 13.500 millones de dólares de Nvidia provinieron de Estados Unidos y China, y solo alrededor del 14% de las ventas provinieron de otros países y regiones.
Afectada por las noticias del H20, al cierre de la bolsa estadounidense del 9 de noviembre, el precio de las acciones de Nvidia subió ligeramente un 0,81% para cerrar en 469,5 dólares por acción. En los últimos cinco días de negociación, Nvidia ha subido más de un 10%, con el último valor de mercado de 1,16 billones de dólares.