Mô hình ba trị 1.58bit chạy trên Ascend 910B, giảm bộ nhớ xuống còn một phần sáu của BF16 vẫn giữ được độ chính xác trên 95%, cuối cùng việc triển khai biên đã có thể thực hiện được.

Xem bản gốc
MeNews
Mô hình lớn mã nguồn mở BitCPM-CANN đầu tiên dựa trên huấn luyện toàn bộ bằng NPU Huawei Ascend 910B đã được phát hành
BitCPM-CANN do ModelBest, Tsinghua và cộng đồng OpenBMB phối hợp phát hành, là mô hình lớn ba trị số mở nguồn đầu tiên trên thế giới được huấn luyện trên NPU Ascend 910B.
Sử dụng lượng tử trọng số cực thấp ba trạng thái, giảm bộ nhớ so với BF16 khoảng 6 lần, phù hợp với thiết bị biên như điện thoại, máy tính, xe hơi.
Ngăn xếp huấn luyện hoàn toàn nguyên bản trên Ascend, dòng 0.5B–8B đạt 95–97% hiệu suất chính xác đầy đủ trên nhiều tiêu chuẩn, tăng khả năng triển khai thực tế.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim