Ba con chip AI mới này của Nvidia không phải là "phiên bản cải tiến", mà là "phiên bản thu nhỏ", trong đó HGX H20 bị giới hạn về băng thông và tốc độ tính toán, giá H20 dự kiến sẽ giảm, nhưng vẫn sẽ cao hơn chip AI nội địa 910B.
Nguồn gốc: Titanium Media
Tác giả: Lin Zhijia
Nguồn hình ảnh: Được tạo bởi Unbounded AI
Ngày 10/11, mới đây có thông tin cho rằng gã khổng lồ chip NVIDIA (NVIDIA) sẽ ra mắt ba chip AI cho thị trường Trung Quốc dựa trên H100 để đáp trả các biện pháp kiểm soát xuất khẩu chip mới nhất tại Mỹ.
Theo tài liệu đặc điểm kỹ thuật, Nvidia sẽ sớm tung ra các sản phẩm mới cho khách hàng Trung Quốc có tên HGX H20, L20 PCle và L2 PCle, dựa trên kiến trúc Hopper và Ada Lovelace của Nvidia. Đánh giá từ các thông số kỹ thuật và đặt tên, ba sản phẩm nhằm mục đích đào tạo, suy luận và các kịch bản cạnh, và sẽ được công bố sớm nhất vào ngày 16 tháng 11, thời gian giao mẫu sản phẩm là từ tháng 11 đến tháng 12 năm nay và thời gian sản xuất hàng loạt là từ tháng 12 năm nay đến tháng 1 năm sau.
** Ứng dụng phương tiện titan đã học được từ một số công ty chuỗi ngành công nghiệp NVIDIA rằng tin tức trên là đúng. **
Titanium Media App cũng độc quyền biết rằng ba chip AI của NVIDIA không phải là "phiên bản cải tiến", mà là "phiên bản thu nhỏ". Về mặt lý thuyết, sức mạnh tính toán tổng thể thấp hơn khoảng 80% so với chip GPU NVIDIA H100, nghĩa là H20 bằng 20% hiệu suất sức mạnh tính toán toàn diện của H100 và việc bổ sung bộ nhớ video HBM và các mô-đun kết nối NVLink giúp cải thiện chi phí sức mạnh tính toán. Do đó, dù giá của HGX H20 sẽ giảm so với H100 nhưng dự kiến giá của sản phẩm này vẫn sẽ cao hơn so với chip AI nội địa 910B.
"Điều này tương đương với việc mở rộng làn đường cao tốc, nhưng lối vào cổng thu phí không được mở rộng, hạn chế lưu thông. Cũng về mặt kỹ thuật, thông qua khóa phần cứng và phần mềm, hiệu suất của chip có thể được kiểm soát chính xác, và không cần phải thay thế dây chuyền sản xuất trên quy mô lớn, ngay cả khi phần cứng được nâng cấp, hiệu suất vẫn có thể được điều chỉnh khi cần thiết. Hiện tại, H20 mới đã 'mắc kẹt' hiệu suất từ nguồn. Một nguồn tin trong ngành giải thích chip H20 mới, "Ví dụ, trước đây phải mất 20 ngày để chạy một tác vụ với H100, nhưng bây giờ có thể mất 100 ngày để H20 chạy lại." "
Bất chấp việc phát hành một vòng hạn chế chip mới ở Hoa Kỳ, Nvidia dường như vẫn chưa từ bỏ thị trường điện toán AI khổng lồ của Trung Quốc.
Titanium Media App đã học được rằng sau khi thử nghiệm, ** hiện tại, về mặt suy luận mô hình lớn, chip AI trong nước 910B chỉ có thể đạt khoảng 60% -70% A100 và việc đào tạo mô hình của cụm là không bền vững; Đồng thời, 910B cao hơn nhiều so với các sản phẩm dòng Nvidia A100 / H100 về mức tiêu thụ điện năng tính toán và sưởi ấm, và không tương thích với CUDA, khó đáp ứng đầy đủ nhu cầu đào tạo mô hình của các trung tâm máy tính thông minh dài hạn. **
** Cho đến nay, Nvidia vẫn chưa chính thức đưa ra bất kỳ bình luận nào về điều này. **
Được biết, vào ngày 17/10 năm nay, Cục Công nghiệp và An ninh (BIS) thuộc Bộ Thương mại Mỹ đã ban hành các quy tắc kiểm soát xuất khẩu mới đối với chip, áp đặt các biện pháp kiểm soát xuất khẩu mới đối với các sản phẩm bán dẫn, bao gồm chip AI hiệu suất cao của Nvidia và các hạn chế đã có hiệu lực vào ngày 23/10. Hồ sơ của Nvidia với SEC Hoa Kỳ cho thấy các sản phẩm bị cấm có hiệu lực ngay lập tức bao gồm A800, H800 và L40S, những chip AI mạnh nhất.
Ngoài ra, bộ xử lý chip L40 và RTX 4090 vẫn giữ nguyên khoảng thời gian 30 ngày ban đầu.
Vào ngày 31 tháng 10, có tin tức rằng Nvidia có thể buộc phải hủy đơn đặt hàng chip tiên tiến trị giá 5 tỷ USD và giá cổ phiếu của Nvidia giảm mạnh do tin tức này. Trước đây, A800 và H800 của Nvidia cung cấp độc quyền cho Trung Quốc không thể bán bình thường tại thị trường Trung Quốc do các quy định mới tại Hoa Kỳ, và hai con chip này được gọi là "phiên bản thiến" của A100 và H100, và Nvidia đã giảm hiệu suất của chip để tuân thủ các quy định trước đây tại Hoa Kỳ.
Ngày 31/10, ông Zhang Xin, người phát ngôn Hội đồng Xúc tiến Thương mại Quốc tế Trung Quốc, cho biết các quy tắc kiểm soát xuất khẩu chất bán dẫn mới được Mỹ ban hành cho Trung Quốc đã thắt chặt hơn nữa các hạn chế đối với việc xuất khẩu chip liên quan đến trí tuệ nhân tạo và thiết bị sản xuất chất bán dẫn sang Trung Quốc, đồng thời đưa một số thực thể Trung Quốc vào "danh sách thực thể" kiểm soát xuất khẩu. Các biện pháp này của Mỹ đã vi phạm nghiêm trọng các nguyên tắc của nền kinh tế thị trường và các quy tắc kinh tế, thương mại quốc tế, đồng thời làm trầm trọng thêm nguy cơ xé rách và phân mảnh chuỗi cung ứng chất bán dẫn toàn cầu. Lệnh cấm xuất khẩu chip sang Trung Quốc được Mỹ thực hiện từ nửa cuối năm 2022 đang làm thay đổi sâu sắc cung cầu toàn cầu, gây mất cân đối nguồn cung chip trong năm 2023, ảnh hưởng đến mô hình của ngành chip thế giới và làm tổn hại đến lợi ích của các doanh nghiệp ở nhiều quốc gia, trong đó có các công ty Trung Quốc.
So sánh các thông số hiệu suất của NVIDIA HGX H20, L20, L2 và các sản phẩm khác
** Ứng dụng Titanium Media đã học được, ** Các sản phẩm chip AI HGX H20, L20 và L2 mới lần lượt dựa trên kiến trúc Hopper và Ada của NVIDIA, phù hợp cho đào tạo đám mây, suy luận đám mây và suy luận biên.
Trong số đó, các sản phẩm suy luận AI của hai L20 và L2 sau có các giải pháp "thay thế trong nước" và tương thích CUDA tương tự, trong khi HGX H20 dựa trên các sản phẩm chip đào tạo H100 và AI thông qua thiến firmware, chủ yếu thay thế A100 / H800.
Theo các tài liệu, H20 mới có công nghệ đóng gói tiên tiến CoWoS và đã thêm HBM3 (bộ nhớ hiệu suất cao) lên 96GB, nhưng chi phí cũng tăng 240 đô la; Sức mạnh tính toán dày đặc FP16 của H20 đạt 148TFLOPS (nghìn tỷ phép toán dấu phẩy động mỗi giây), chiếm khoảng 15% sức mạnh tính toán của H100, do đó các thuật toán bổ sung và chi phí nhân sự cần được thêm vào. NVLink sẽ được nâng cấp từ 400GB/s lên 900GB/s nên tốc độ kết nối sẽ được nâng cấp rất nhiều.
Theo đánh giá, H100 / H800 là sơ đồ thực hành chủ đạo của các cụm năng lượng tính toán. Trong đó, giới hạn lý thuyết của H100 là 50.000 thẻ và sức mạnh tính toán tối đa là 100.000 P, cụm thực hành tối đa của H800 là 20.000-30.000 thẻ, với tổng sức mạnh tính toán 40.000 P, và cụm thực hành tối đa của A100 là 16.000 thẻ và sức mạnh tính toán tối đa là 9600P.
Tuy nhiên, giới hạn lý thuyết của chip H20 mới là 50.000 thẻ, nhưng sức mạnh tính toán của mỗi thẻ là 0,148P và tổng sức mạnh tính toán là gần 7400P, thấp hơn so với H100 / H800 và A100. Do đó, quy mô của cụm H20 khác xa so với thang đo lý thuyết của H100 và dựa trên ước tính sức mạnh tính toán và cân bằng truyền thông, sức mạnh tính toán tổng thể trung bình hợp lý là khoảng 3000P, và cần thêm nhiều chi phí và sức mạnh tính toán hơn để hoàn thành việc đào tạo mô hình tham số cấp 100 tỷ.
** Hai chuyên gia trong ngành công nghiệp bán dẫn nói với Titanium Media App rằng dựa trên ước tính các thông số hiệu suất hiện tại, rất có thể các sản phẩm GPU Nvidia B100 sẽ không còn được bán cho thị trường Trung Quốc vào năm tới. **
Nhìn chung, nếu một doanh nghiệp mô hình lớn muốn thực hiện đào tạo mô hình lớn với các thông số như GPT-4, quy mô của cụm sức mạnh tính toán là cốt lõi và hiện tại, chỉ có H800 và H100 có thể đủ năng lực để đào tạo mô hình lớn, trong khi hiệu suất của 910B trong nước là từ A100 đến H100, đây chỉ là "lựa chọn dự phòng cuối cùng".
Giờ đây, H20 mới do Nvidia ra mắt phù hợp hơn cho việc đào tạo và suy luận mô hình dọc, không thể đáp ứng nhu cầu đào tạo của các mô hình lớn hàng nghìn tỷ cấp, nhưng hiệu suất tổng thể cao hơn một chút so với 910B, cùng với hệ sinh thái CUDA của NVIDIA, do đó chặn con đường lựa chọn duy nhất cho thẻ nội địa trên thị trường chip AI của Trung Quốc trong tương lai theo lệnh hạn chế chip của Mỹ.
Theo báo cáo tài chính mới nhất, trong quý kết thúc vào ngày 30/7, hơn 85% doanh thu 13,5 tỷ USD của Nvidia đến từ Mỹ và Trung Quốc, và chỉ khoảng 14% doanh thu đến từ các quốc gia và khu vực khác.
Bị ảnh hưởng bởi tin tức H20, tính đến khi thị trường chứng khoán Mỹ đóng cửa vào ngày 9/11, giá cổ phiếu của Nvidia đã tăng nhẹ 0,81% để đóng cửa ở mức 469,5 USD/cổ phiếu. Trong năm ngày giao dịch vừa qua, Nvidia đã tăng hơn 10%, với giá trị thị trường mới nhất là 1,16 nghìn tỷ USD.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Nvidia chặn chip AI trong nước và sức mạnh tính toán toàn diện của H20 "Phiên bản đặc biệt Trung Quốc" thấp hơn 80% so với H100
Nguồn gốc: Titanium Media
Tác giả: Lin Zhijia
Ngày 10/11, mới đây có thông tin cho rằng gã khổng lồ chip NVIDIA (NVIDIA) sẽ ra mắt ba chip AI cho thị trường Trung Quốc dựa trên H100 để đáp trả các biện pháp kiểm soát xuất khẩu chip mới nhất tại Mỹ.
Theo tài liệu đặc điểm kỹ thuật, Nvidia sẽ sớm tung ra các sản phẩm mới cho khách hàng Trung Quốc có tên HGX H20, L20 PCle và L2 PCle, dựa trên kiến trúc Hopper và Ada Lovelace của Nvidia. Đánh giá từ các thông số kỹ thuật và đặt tên, ba sản phẩm nhằm mục đích đào tạo, suy luận và các kịch bản cạnh, và sẽ được công bố sớm nhất vào ngày 16 tháng 11, thời gian giao mẫu sản phẩm là từ tháng 11 đến tháng 12 năm nay và thời gian sản xuất hàng loạt là từ tháng 12 năm nay đến tháng 1 năm sau.
** Ứng dụng phương tiện titan đã học được từ một số công ty chuỗi ngành công nghiệp NVIDIA rằng tin tức trên là đúng. **
Titanium Media App cũng độc quyền biết rằng ba chip AI của NVIDIA không phải là "phiên bản cải tiến", mà là "phiên bản thu nhỏ". Về mặt lý thuyết, sức mạnh tính toán tổng thể thấp hơn khoảng 80% so với chip GPU NVIDIA H100, nghĩa là H20 bằng 20% hiệu suất sức mạnh tính toán toàn diện của H100 và việc bổ sung bộ nhớ video HBM và các mô-đun kết nối NVLink giúp cải thiện chi phí sức mạnh tính toán. Do đó, dù giá của HGX H20 sẽ giảm so với H100 nhưng dự kiến giá của sản phẩm này vẫn sẽ cao hơn so với chip AI nội địa 910B.
"Điều này tương đương với việc mở rộng làn đường cao tốc, nhưng lối vào cổng thu phí không được mở rộng, hạn chế lưu thông. Cũng về mặt kỹ thuật, thông qua khóa phần cứng và phần mềm, hiệu suất của chip có thể được kiểm soát chính xác, và không cần phải thay thế dây chuyền sản xuất trên quy mô lớn, ngay cả khi phần cứng được nâng cấp, hiệu suất vẫn có thể được điều chỉnh khi cần thiết. Hiện tại, H20 mới đã 'mắc kẹt' hiệu suất từ nguồn. Một nguồn tin trong ngành giải thích chip H20 mới, "Ví dụ, trước đây phải mất 20 ngày để chạy một tác vụ với H100, nhưng bây giờ có thể mất 100 ngày để H20 chạy lại." "
Bất chấp việc phát hành một vòng hạn chế chip mới ở Hoa Kỳ, Nvidia dường như vẫn chưa từ bỏ thị trường điện toán AI khổng lồ của Trung Quốc.
Titanium Media App đã học được rằng sau khi thử nghiệm, ** hiện tại, về mặt suy luận mô hình lớn, chip AI trong nước 910B chỉ có thể đạt khoảng 60% -70% A100 và việc đào tạo mô hình của cụm là không bền vững; Đồng thời, 910B cao hơn nhiều so với các sản phẩm dòng Nvidia A100 / H100 về mức tiêu thụ điện năng tính toán và sưởi ấm, và không tương thích với CUDA, khó đáp ứng đầy đủ nhu cầu đào tạo mô hình của các trung tâm máy tính thông minh dài hạn. **
** Cho đến nay, Nvidia vẫn chưa chính thức đưa ra bất kỳ bình luận nào về điều này. **
Được biết, vào ngày 17/10 năm nay, Cục Công nghiệp và An ninh (BIS) thuộc Bộ Thương mại Mỹ đã ban hành các quy tắc kiểm soát xuất khẩu mới đối với chip, áp đặt các biện pháp kiểm soát xuất khẩu mới đối với các sản phẩm bán dẫn, bao gồm chip AI hiệu suất cao của Nvidia và các hạn chế đã có hiệu lực vào ngày 23/10. Hồ sơ của Nvidia với SEC Hoa Kỳ cho thấy các sản phẩm bị cấm có hiệu lực ngay lập tức bao gồm A800, H800 và L40S, những chip AI mạnh nhất.
Ngoài ra, bộ xử lý chip L40 và RTX 4090 vẫn giữ nguyên khoảng thời gian 30 ngày ban đầu.
Vào ngày 31 tháng 10, có tin tức rằng Nvidia có thể buộc phải hủy đơn đặt hàng chip tiên tiến trị giá 5 tỷ USD và giá cổ phiếu của Nvidia giảm mạnh do tin tức này. Trước đây, A800 và H800 của Nvidia cung cấp độc quyền cho Trung Quốc không thể bán bình thường tại thị trường Trung Quốc do các quy định mới tại Hoa Kỳ, và hai con chip này được gọi là "phiên bản thiến" của A100 và H100, và Nvidia đã giảm hiệu suất của chip để tuân thủ các quy định trước đây tại Hoa Kỳ.
Ngày 31/10, ông Zhang Xin, người phát ngôn Hội đồng Xúc tiến Thương mại Quốc tế Trung Quốc, cho biết các quy tắc kiểm soát xuất khẩu chất bán dẫn mới được Mỹ ban hành cho Trung Quốc đã thắt chặt hơn nữa các hạn chế đối với việc xuất khẩu chip liên quan đến trí tuệ nhân tạo và thiết bị sản xuất chất bán dẫn sang Trung Quốc, đồng thời đưa một số thực thể Trung Quốc vào "danh sách thực thể" kiểm soát xuất khẩu. Các biện pháp này của Mỹ đã vi phạm nghiêm trọng các nguyên tắc của nền kinh tế thị trường và các quy tắc kinh tế, thương mại quốc tế, đồng thời làm trầm trọng thêm nguy cơ xé rách và phân mảnh chuỗi cung ứng chất bán dẫn toàn cầu. Lệnh cấm xuất khẩu chip sang Trung Quốc được Mỹ thực hiện từ nửa cuối năm 2022 đang làm thay đổi sâu sắc cung cầu toàn cầu, gây mất cân đối nguồn cung chip trong năm 2023, ảnh hưởng đến mô hình của ngành chip thế giới và làm tổn hại đến lợi ích của các doanh nghiệp ở nhiều quốc gia, trong đó có các công ty Trung Quốc.
** Ứng dụng Titanium Media đã học được, ** Các sản phẩm chip AI HGX H20, L20 và L2 mới lần lượt dựa trên kiến trúc Hopper và Ada của NVIDIA, phù hợp cho đào tạo đám mây, suy luận đám mây và suy luận biên.
Trong số đó, các sản phẩm suy luận AI của hai L20 và L2 sau có các giải pháp "thay thế trong nước" và tương thích CUDA tương tự, trong khi HGX H20 dựa trên các sản phẩm chip đào tạo H100 và AI thông qua thiến firmware, chủ yếu thay thế A100 / H800.
Theo các tài liệu, H20 mới có công nghệ đóng gói tiên tiến CoWoS và đã thêm HBM3 (bộ nhớ hiệu suất cao) lên 96GB, nhưng chi phí cũng tăng 240 đô la; Sức mạnh tính toán dày đặc FP16 của H20 đạt 148TFLOPS (nghìn tỷ phép toán dấu phẩy động mỗi giây), chiếm khoảng 15% sức mạnh tính toán của H100, do đó các thuật toán bổ sung và chi phí nhân sự cần được thêm vào. NVLink sẽ được nâng cấp từ 400GB/s lên 900GB/s nên tốc độ kết nối sẽ được nâng cấp rất nhiều.
Theo đánh giá, H100 / H800 là sơ đồ thực hành chủ đạo của các cụm năng lượng tính toán. Trong đó, giới hạn lý thuyết của H100 là 50.000 thẻ và sức mạnh tính toán tối đa là 100.000 P, cụm thực hành tối đa của H800 là 20.000-30.000 thẻ, với tổng sức mạnh tính toán 40.000 P, và cụm thực hành tối đa của A100 là 16.000 thẻ và sức mạnh tính toán tối đa là 9600P.
Tuy nhiên, giới hạn lý thuyết của chip H20 mới là 50.000 thẻ, nhưng sức mạnh tính toán của mỗi thẻ là 0,148P và tổng sức mạnh tính toán là gần 7400P, thấp hơn so với H100 / H800 và A100. Do đó, quy mô của cụm H20 khác xa so với thang đo lý thuyết của H100 và dựa trên ước tính sức mạnh tính toán và cân bằng truyền thông, sức mạnh tính toán tổng thể trung bình hợp lý là khoảng 3000P, và cần thêm nhiều chi phí và sức mạnh tính toán hơn để hoàn thành việc đào tạo mô hình tham số cấp 100 tỷ.
** Hai chuyên gia trong ngành công nghiệp bán dẫn nói với Titanium Media App rằng dựa trên ước tính các thông số hiệu suất hiện tại, rất có thể các sản phẩm GPU Nvidia B100 sẽ không còn được bán cho thị trường Trung Quốc vào năm tới. **
Nhìn chung, nếu một doanh nghiệp mô hình lớn muốn thực hiện đào tạo mô hình lớn với các thông số như GPT-4, quy mô của cụm sức mạnh tính toán là cốt lõi và hiện tại, chỉ có H800 và H100 có thể đủ năng lực để đào tạo mô hình lớn, trong khi hiệu suất của 910B trong nước là từ A100 đến H100, đây chỉ là "lựa chọn dự phòng cuối cùng".
Giờ đây, H20 mới do Nvidia ra mắt phù hợp hơn cho việc đào tạo và suy luận mô hình dọc, không thể đáp ứng nhu cầu đào tạo của các mô hình lớn hàng nghìn tỷ cấp, nhưng hiệu suất tổng thể cao hơn một chút so với 910B, cùng với hệ sinh thái CUDA của NVIDIA, do đó chặn con đường lựa chọn duy nhất cho thẻ nội địa trên thị trường chip AI của Trung Quốc trong tương lai theo lệnh hạn chế chip của Mỹ.
Theo báo cáo tài chính mới nhất, trong quý kết thúc vào ngày 30/7, hơn 85% doanh thu 13,5 tỷ USD của Nvidia đến từ Mỹ và Trung Quốc, và chỉ khoảng 14% doanh thu đến từ các quốc gia và khu vực khác.
Bị ảnh hưởng bởi tin tức H20, tính đến khi thị trường chứng khoán Mỹ đóng cửa vào ngày 9/11, giá cổ phiếu của Nvidia đã tăng nhẹ 0,81% để đóng cửa ở mức 469,5 USD/cổ phiếu. Trong năm ngày giao dịch vừa qua, Nvidia đã tăng hơn 10%, với giá trị thị trường mới nhất là 1,16 nghìn tỷ USD.