NVIDIA công bố chi tiết chi phí của Blackwell: GPU đắt gấp đôi, mỗi token rẻ hơn 35 lần

robot
Đang tạo bản tóm tắt

Tin tức từ CoinWorld, Nvidia đã công bố chi tiết về chi phí của dòng Blackwell, chỉ ra rằng chi phí GPU đắt gấp đôi so với thế hệ trước, nhưng chi phí mỗi token lại rẻ hơn 35 lần. Theo blog của Nvidia, khi đánh giá hạ tầng suy luận, nên tập trung vào « chi phí mỗi token » chứ không phải « chi phí mỗi GPU mỗi giờ ». Với deepseek-r1 (mô hình suy luận MOE) làm đối tượng thử nghiệm, so sánh Blackwell (GB300 NVL72) với thế hệ trước Hopper (HGX H200). Theo giá thuê thị trường đám mây tham khảo, Blackwell có giá 2,65 USD mỗi GPU mỗi giờ, đắt hơn gần gấp đôi so với Hopper là 1,41 USD, nhưng sản lượng token mỗi GPU mỗi giây từ 90 lên đến 6000, tăng 65 lần, sau phân bổ, chi phí mỗi triệu token giảm từ 4,20 USD xuống còn 0,12 USD. Cần lưu ý rằng, chi phí 0,12 USD này dựa trên giả định bật các tối ưu phần mềm như suy luận độ chính xác thấp FP4 và dự đoán nhiều token.

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Ghim