Hugging Face trực tiếp có thể tải xuống, tối nay sẽ git clone để kiểm tra độ trễ

Xem bản gốc
MeNews
PrismML ra mắt mô hình 1.58-bit Ternary Bonsai, giảm tham số gấp 9 lần, độ thông minh vượt trội so với các đối thủ cùng loại
PrismML phát hành dòng Bonsai Ternary, sử dụng trọng số 1.58 bit {-1,0,+1}, bộ nhớ GPU chỉ bằng một phần mười chín của mô hình 16 bit. Ba quy mô 8B/4B/1.7B đã mở mã nguồn trên Hugging Face, và chạy nguyên bản trên thiết bị Apple. Trọng số 8B khoảng 1.75 GB, điểm chuẩn 75.5, dẫn đầu các đối thủ cùng loại. Trên iPhone 17 Pro Max, tốc độ 8B đạt 27 token/giây, hiệu quả năng lượng tăng gấp 3–4 lần. Trọng số phân phối theo giấy phép Apache 2.0, chạy nguyên bản trên thiết bị Apple qua khung MLX.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim