Estes três novos chips de IA da Nvidia não são "versões melhoradas", mas "versões encolhidas", das quais o HGX H20 é limitado em termos de largura de banda e velocidade de computação, e espera-se que o preço do H20 diminua, mas ainda será maior do que o chip de IA doméstico 910B.
Fonte original: Titanium Media
Autor: Lin Zhijia
Fonte da imagem: Gerado por Unbounded AI
Em 10 de novembro, foi recentemente relatado que a gigante de chips NVIDIA (NVIDIA) lançará três chips de IA para o mercado chinês baseados em H100 em resposta aos mais recentes controles de exportação de chips nos Estados Unidos.
De acordo com o documento de especificação, a Nvidia lançará em breve novos produtos para clientes chineses chamados HGX H20, L20 PCle e L2 PCle, que são baseados nas arquiteturas Hopper e Ada Lovelace da Nvidia. A julgar pelas especificações e nomenclatura, os três produtos são destinados a cenários de treinamento, inferência e borda, e serão anunciados em 16 de novembro, no mínimo, o tempo de entrega da amostra do produto é de novembro a dezembro deste ano, e o tempo de produção em massa é de dezembro deste ano a janeiro do próximo ano.
**A Titanium Media App aprendeu com várias empresas da cadeia da indústria NVIDIA que as notícias acima são verdadeiras. **
A Titanium Media App também descobriu com exclusividade que os três chips de IA da NVIDIA não são "versões melhoradas", mas "versões encolhidas". Teoricamente, o poder de computação geral é cerca de 80% menor do que o do chip de GPU NVIDIA H100, ou seja, H20 é igual a 20% do desempenho de poder de computação abrangente do H100, e a adição de memória de vídeo HBM e módulos de interconexão NVLink melhora o custo do poder de computação. Portanto, embora o preço do HGX H20 diminua em comparação com o H100, espera-se que o preço deste produto ainda seja maior do que o do chip de IA doméstico 910B.
"Isso equivale a alargar as faixas da rodovia, mas a entrada do pedágio não é ampliada, limitando o tráfego. Também tecnicamente, através do bloqueio de hardware e software, o desempenho do chip pode ser controlado com precisão, e não há necessidade de substituir a linha de produção em grande escala, mesmo que o hardware seja atualizado, o desempenho ainda pode ser ajustado conforme necessário. Atualmente, o novo H20 tem desempenho 'preso' da fonte. Uma fonte da indústria explicou o novo chip H20: "Por exemplo, costumava levar 20 dias para executar uma tarefa com H100, mas agora pode levar 100 dias para o H20 ser executado novamente." "
Apesar do lançamento de uma nova rodada de restrições de chips nos Estados Unidos, a Nvidia não parece ter desistido do enorme mercado de poder de computação de IA da China.
Então, os chips domésticos podem ser substituídos?Titanium Media App aprendeu que, após testes, ** no momento, em termos de inferência de modelo grande, o chip de IA doméstico 910B só pode atingir cerca de 60% a 70% do A100, e o treinamento de modelo do cluster é insustentável;Ao mesmo tempo, o 910B é muito maior do que os produtos da série Nvidia A100/H100 em termos de consumo de energia de computação e aquecimento, e não é compatível com CUDA, o que é difícil atender plenamente às necessidades de treinamento de modelo de centros de computação inteligente de longo prazo. **
**Até agora, a Nvidia não fez oficialmente nenhum comentário sobre isso. **
É relatado que, em 17 de outubro deste ano, o Bureau of Industry and Security (BIS) do Departamento de Comércio dos EUA emitiu novas regras de controle de exportação para chips, impondo novos controles de exportação de produtos semicondutores, incluindo os chips de IA de alto desempenho da Nvidia, e as restrições entraram em vigor em 23 de outubro. O arquivo da Nvidia com a SEC dos EUA mostra que os produtos proibidos que entram em vigor imediatamente incluem A800, H800 e L40S, os chips de IA mais poderosos.
Além disso, os processadores de chip L40 e RTX 4090 mantêm a janela original de 30 dias.
Em 31 de outubro, houve notícias de que a Nvidia pode ser forçada a cancelar um pedido de chips avançados no valor de US $ 5 bilhões, e o preço das ações da Nvidia caiu drasticamente devido à notícia. Anteriormente, os A800 e H800 da Nvidia fornecidos exclusivamente para a China não podiam ser vendidos normalmente no mercado chinês devido às novas regulamentações nos Estados Unidos, e esses dois chips eram chamados de "versões castradas" do A100 e H100, e a Nvidia reduziu o desempenho do chip para cumprir as regulamentações anteriores nos Estados Unidos.
Em 31 de outubro, Zhang Xin, porta-voz do Conselho Chinês para a Promoção do Comércio Internacional, disse que as recém-emitidas regras de controle de exportação de semicondutores emitidas pelos Estados Unidos para a China endureceram ainda mais as restrições à exportação de chips relacionados à inteligência artificial e equipamentos de fabricação de semicondutores para a China, e incluíram várias entidades chinesas na "lista de entidades" de controle de exportação. Estas medidas dos Estados Unidos violaram gravemente os princípios da economia de mercado e as regras económicas e comerciais internacionais e exacerbaram o risco de rutura e fragmentação da cadeia global de fornecimento de semicondutores. A proibição de exportação de chips para a China implementada pelos Estados Unidos desde o segundo semestre de 2022 está a alterar profundamente a oferta e a procura globais, provocando um desequilíbrio na oferta de chips em 2023, afetando o padrão da indústria mundial de chips e prejudicando os interesses de empresas de vários países, incluindo empresas chinesas.
Comparação dos parâmetros de desempenho da NVIDIA HGX H20, L20, L2 e outros produtos
**O Titanium Media App aprendeu,**Os novos produtos de chip de IA HGX H20, L20 e L2 são baseados nas arquiteturas Hopper e Ada da NVIDIA, respectivamente, que são adequadas para treinamento em nuvem, inferência de nuvem e inferência de borda.
Entre eles, os produtos de inferência de IA dos dois últimos L20 e L2 têm "substituição doméstica" semelhante e soluções compatíveis com CUDA, enquanto HGX H20 é baseado em produtos de chip de treinamento H100 e IA através de castração de firmware, substituindo principalmente A100/H800.
De acordo com os documentos, o novo H20 tem tecnologia de embalagem avançada CoWoS, e adicionou um HBM3 (memória de alto desempenho) para 96GB, mas o custo também aumentou em US $ 240; O poder de computação denso do FP16 do H20 atinge 148TFLOPS (trilhões de operações de ponto flutuante por segundo), o que é cerca de 15% do poder de computação do H100, portanto, algoritmos adicionais e custos de pessoal precisam ser adicionados. O NVLink será atualizado de 400GB/s para 900GB/s, portanto, a taxa de interconexão será muito atualizada.
De acordo com a avaliação, o H100/H800 é o esquema de prática dominante dos clusters de poder de computação. Entre eles, o limite teórico de H100 é de 50.000 cartões e o poder máximo de computação é de 100.000 P, o cluster de prática máxima de H800 é de 20.000-30.000 cartões, com um total de 40.000 P de poder de computação, e o cluster de prática máxima de A100 é de 16.000 cartões e o poder máximo de computação é de 9600P.
No entanto, o limite teórico do novo chip H20 é de 50.000 cartões, mas o poder de computação de cada placa é de 0,148P, e o poder de computação total é de quase 7400P, o que é inferior ao de H100/H800 e A100. Portanto, a escala do cluster H20 está longe da escala teórica do H100 e, com base na estimativa do poder de computação e do equilíbrio de comunicação, o poder de computação global mediano razoável é de cerca de 3000P, e mais custos e mais poder de computação precisam ser adicionados para completar o treinamento do modelo de parâmetros de nível de 100 bilhões.
**Dois especialistas da indústria de semicondutores disseram à Titanium Media App que, com base na estimativa dos parâmetros de desempenho atuais, é muito provável que os produtos de GPU Nvidia B100 não sejam mais vendidos para o mercado chinês no próximo ano. **
No geral, se uma grande empresa modelo quiser realizar treinamento de modelo grande com parâmetros como GPT-4, a escala do cluster de poder de computação é o núcleo e, atualmente, apenas H800 e H100 podem ser competentes para treinamento de modelos grandes, enquanto o desempenho do 910B doméstico está entre A100 e H100, o que é apenas uma "escolha de backup de último recurso".
Agora, o novo H20 lançado pela Nvidia é mais adequado para treinamento e inferência de modelos verticais, que não podem atender às necessidades de treinamento de modelos grandes de trilhões de níveis, mas o desempenho geral é ligeiramente superior ao do 910B, juntamente com a ecologia CUDA da NVIDIA, bloqueando assim o único caminho de escolha para cartões domésticos no mercado de chips de IA da China no futuro sob a ordem de restrição de chips dos EUA.
De acordo com o último relatório financeiro, no trimestre encerrado em 30 de julho, mais de 85% das vendas de US$ 13,5 bilhões da Nvidia vieram dos Estados Unidos e da China, e apenas cerca de 14% das vendas vieram de outros países e regiões.
Afetado pela notícia do H20, a partir do fechamento do mercado de ações dos EUA em 9 de novembro, o preço das ações da Nvidia subiu ligeiramente 0,81% para fechar em US$ 469,5 por ação. Nos últimos cinco pregões, a Nvidia subiu mais de 10%, com o último valor de mercado de US$ 1,16 trilhão.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
A Nvidia bloqueia chips de IA domésticos, e o poder de computação abrangente do "China Special Edition" H20 é 80% menor do que o do H100
Fonte original: Titanium Media
Autor: Lin Zhijia
Em 10 de novembro, foi recentemente relatado que a gigante de chips NVIDIA (NVIDIA) lançará três chips de IA para o mercado chinês baseados em H100 em resposta aos mais recentes controles de exportação de chips nos Estados Unidos.
De acordo com o documento de especificação, a Nvidia lançará em breve novos produtos para clientes chineses chamados HGX H20, L20 PCle e L2 PCle, que são baseados nas arquiteturas Hopper e Ada Lovelace da Nvidia. A julgar pelas especificações e nomenclatura, os três produtos são destinados a cenários de treinamento, inferência e borda, e serão anunciados em 16 de novembro, no mínimo, o tempo de entrega da amostra do produto é de novembro a dezembro deste ano, e o tempo de produção em massa é de dezembro deste ano a janeiro do próximo ano.
**A Titanium Media App aprendeu com várias empresas da cadeia da indústria NVIDIA que as notícias acima são verdadeiras. **
A Titanium Media App também descobriu com exclusividade que os três chips de IA da NVIDIA não são "versões melhoradas", mas "versões encolhidas". Teoricamente, o poder de computação geral é cerca de 80% menor do que o do chip de GPU NVIDIA H100, ou seja, H20 é igual a 20% do desempenho de poder de computação abrangente do H100, e a adição de memória de vídeo HBM e módulos de interconexão NVLink melhora o custo do poder de computação. Portanto, embora o preço do HGX H20 diminua em comparação com o H100, espera-se que o preço deste produto ainda seja maior do que o do chip de IA doméstico 910B.
"Isso equivale a alargar as faixas da rodovia, mas a entrada do pedágio não é ampliada, limitando o tráfego. Também tecnicamente, através do bloqueio de hardware e software, o desempenho do chip pode ser controlado com precisão, e não há necessidade de substituir a linha de produção em grande escala, mesmo que o hardware seja atualizado, o desempenho ainda pode ser ajustado conforme necessário. Atualmente, o novo H20 tem desempenho 'preso' da fonte. Uma fonte da indústria explicou o novo chip H20: "Por exemplo, costumava levar 20 dias para executar uma tarefa com H100, mas agora pode levar 100 dias para o H20 ser executado novamente." "
Apesar do lançamento de uma nova rodada de restrições de chips nos Estados Unidos, a Nvidia não parece ter desistido do enorme mercado de poder de computação de IA da China.
Então, os chips domésticos podem ser substituídos?Titanium Media App aprendeu que, após testes, ** no momento, em termos de inferência de modelo grande, o chip de IA doméstico 910B só pode atingir cerca de 60% a 70% do A100, e o treinamento de modelo do cluster é insustentável;Ao mesmo tempo, o 910B é muito maior do que os produtos da série Nvidia A100/H100 em termos de consumo de energia de computação e aquecimento, e não é compatível com CUDA, o que é difícil atender plenamente às necessidades de treinamento de modelo de centros de computação inteligente de longo prazo. **
**Até agora, a Nvidia não fez oficialmente nenhum comentário sobre isso. **
É relatado que, em 17 de outubro deste ano, o Bureau of Industry and Security (BIS) do Departamento de Comércio dos EUA emitiu novas regras de controle de exportação para chips, impondo novos controles de exportação de produtos semicondutores, incluindo os chips de IA de alto desempenho da Nvidia, e as restrições entraram em vigor em 23 de outubro. O arquivo da Nvidia com a SEC dos EUA mostra que os produtos proibidos que entram em vigor imediatamente incluem A800, H800 e L40S, os chips de IA mais poderosos.
Além disso, os processadores de chip L40 e RTX 4090 mantêm a janela original de 30 dias.
Em 31 de outubro, houve notícias de que a Nvidia pode ser forçada a cancelar um pedido de chips avançados no valor de US $ 5 bilhões, e o preço das ações da Nvidia caiu drasticamente devido à notícia. Anteriormente, os A800 e H800 da Nvidia fornecidos exclusivamente para a China não podiam ser vendidos normalmente no mercado chinês devido às novas regulamentações nos Estados Unidos, e esses dois chips eram chamados de "versões castradas" do A100 e H100, e a Nvidia reduziu o desempenho do chip para cumprir as regulamentações anteriores nos Estados Unidos.
Em 31 de outubro, Zhang Xin, porta-voz do Conselho Chinês para a Promoção do Comércio Internacional, disse que as recém-emitidas regras de controle de exportação de semicondutores emitidas pelos Estados Unidos para a China endureceram ainda mais as restrições à exportação de chips relacionados à inteligência artificial e equipamentos de fabricação de semicondutores para a China, e incluíram várias entidades chinesas na "lista de entidades" de controle de exportação. Estas medidas dos Estados Unidos violaram gravemente os princípios da economia de mercado e as regras económicas e comerciais internacionais e exacerbaram o risco de rutura e fragmentação da cadeia global de fornecimento de semicondutores. A proibição de exportação de chips para a China implementada pelos Estados Unidos desde o segundo semestre de 2022 está a alterar profundamente a oferta e a procura globais, provocando um desequilíbrio na oferta de chips em 2023, afetando o padrão da indústria mundial de chips e prejudicando os interesses de empresas de vários países, incluindo empresas chinesas.
**O Titanium Media App aprendeu,**Os novos produtos de chip de IA HGX H20, L20 e L2 são baseados nas arquiteturas Hopper e Ada da NVIDIA, respectivamente, que são adequadas para treinamento em nuvem, inferência de nuvem e inferência de borda.
Entre eles, os produtos de inferência de IA dos dois últimos L20 e L2 têm "substituição doméstica" semelhante e soluções compatíveis com CUDA, enquanto HGX H20 é baseado em produtos de chip de treinamento H100 e IA através de castração de firmware, substituindo principalmente A100/H800.
De acordo com os documentos, o novo H20 tem tecnologia de embalagem avançada CoWoS, e adicionou um HBM3 (memória de alto desempenho) para 96GB, mas o custo também aumentou em US $ 240; O poder de computação denso do FP16 do H20 atinge 148TFLOPS (trilhões de operações de ponto flutuante por segundo), o que é cerca de 15% do poder de computação do H100, portanto, algoritmos adicionais e custos de pessoal precisam ser adicionados. O NVLink será atualizado de 400GB/s para 900GB/s, portanto, a taxa de interconexão será muito atualizada.
De acordo com a avaliação, o H100/H800 é o esquema de prática dominante dos clusters de poder de computação. Entre eles, o limite teórico de H100 é de 50.000 cartões e o poder máximo de computação é de 100.000 P, o cluster de prática máxima de H800 é de 20.000-30.000 cartões, com um total de 40.000 P de poder de computação, e o cluster de prática máxima de A100 é de 16.000 cartões e o poder máximo de computação é de 9600P.
No entanto, o limite teórico do novo chip H20 é de 50.000 cartões, mas o poder de computação de cada placa é de 0,148P, e o poder de computação total é de quase 7400P, o que é inferior ao de H100/H800 e A100. Portanto, a escala do cluster H20 está longe da escala teórica do H100 e, com base na estimativa do poder de computação e do equilíbrio de comunicação, o poder de computação global mediano razoável é de cerca de 3000P, e mais custos e mais poder de computação precisam ser adicionados para completar o treinamento do modelo de parâmetros de nível de 100 bilhões.
**Dois especialistas da indústria de semicondutores disseram à Titanium Media App que, com base na estimativa dos parâmetros de desempenho atuais, é muito provável que os produtos de GPU Nvidia B100 não sejam mais vendidos para o mercado chinês no próximo ano. **
No geral, se uma grande empresa modelo quiser realizar treinamento de modelo grande com parâmetros como GPT-4, a escala do cluster de poder de computação é o núcleo e, atualmente, apenas H800 e H100 podem ser competentes para treinamento de modelos grandes, enquanto o desempenho do 910B doméstico está entre A100 e H100, o que é apenas uma "escolha de backup de último recurso".
Agora, o novo H20 lançado pela Nvidia é mais adequado para treinamento e inferência de modelos verticais, que não podem atender às necessidades de treinamento de modelos grandes de trilhões de níveis, mas o desempenho geral é ligeiramente superior ao do 910B, juntamente com a ecologia CUDA da NVIDIA, bloqueando assim o único caminho de escolha para cartões domésticos no mercado de chips de IA da China no futuro sob a ordem de restrição de chips dos EUA.
De acordo com o último relatório financeiro, no trimestre encerrado em 30 de julho, mais de 85% das vendas de US$ 13,5 bilhões da Nvidia vieram dos Estados Unidos e da China, e apenas cerca de 14% das vendas vieram de outros países e regiões.
Afetado pela notícia do H20, a partir do fechamento do mercado de ações dos EUA em 9 de novembro, o preço das ações da Nvidia subiu ligeiramente 0,81% para fechar em US$ 469,5 por ação. Nos últimos cinco pregões, a Nvidia subiu mais de 10%, com o último valor de mercado de US$ 1,16 trilhão.