SonicMoE đạt được thông lượng đỉnh trên GPU NVIDIA Blackwell

robot
Đang tạo bản tóm tắt
ME News tin tức, ngày 23 tháng 4 (UTC+8), SonicMoE thông báo hiện có thể chạy với thông lượng đỉnh trên GPU NVIDIA Blackwell. Theo dữ liệu họ cung cấp, hiệu suất TFLOPS lan truyền xuôi và lan truyền ngược của mô hình này lần lượt cao hơn 54% và 35% so với chuẩn DeepGEMM, hiệu suất TFLOPS lan truyền xuôi cao hơn 21% so với ví dụ chính thức của triton. Đồng thời, SonicMoE vẫn duy trì mức chiếm dụng bộ nhớ kích hoạt tối thiểu, giống như mô hình dày đặc. (Nguồn: InFoQ)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận