PrismML ra mắt mô hình 1.58-bit Ternary Bonsai, giảm tham số gấp 9 lần, độ thông minh vượt trội so với các đối thủ cùng loại

robot
Đang tạo bản tóm tắt
ME Tin tức, ngày 17 tháng 4 (UTC+8), theo giám sát của Động Chấn Beating, PrismML đã phát hành dòng mô hình ngôn ngữ Bonsai Ternary, sử dụng công nghệ trọng số 1.58 bit (trọng số ternary), giảm dung lượng bộ nhớ của mô hình xuống còn 1/9 so với mô hình 16 bit trong khi duy trì hiệu suất cao. Dòng này gồm ba quy mô tham số là 8B, 4B và 1.7B, hiện đã mở mã nguồn trên Hugging Face và hỗ trợ chạy native trên thiết bị Apple.
Mô hình 1.58 bit gọi là mô hình giới hạn trọng số trong mạng neural ở ba giá trị {-1, 0, +1}. So với mô hình 1 bit trước đây (chỉ có {-1, +1}), việc thêm giá trị "0" giúp loại bỏ các kết nối dư thừa, cho phép mô hình giữ khả năng suy luận phức tạp ngay cả với kích thước cực nhỏ.
Tập tin trọng số 8B của Bonsai Ternary mới phát hành chỉ có 1.75 GB, điểm chuẩn trung bình đạt 75.5, cao hơn 5 điểm so với phiên bản 1 bit của chính nó, thậm chí còn vượt trội về "hiệu quả năng lượng" (hiệu suất trên mỗi GB bộ nhớ GPU) so với các mô hình dày đặc cùng loại như Qwen3.
Hiệu quả năng lượng và tốc độ vận hành là lợi thế cốt lõi khác của dòng này. Trên iPhone 17 Pro Max, phiên bản 8B đạt tốc độ 27 token/giây, tăng hiệu quả năng lượng khoảng 3 đến 4 lần. Điều này có ý nghĩa đối với các nhà phát triển cần triển khai AI hiệu suất cao trên điện thoại, laptop hoặc các thiết bị cận biên, cho phép sử dụng bộ nhớ rất nhỏ để đạt hiệu quả gần như mô hình chính xác đầy đủ.
Hiện tại, mô hình Bonsai Ternary đã được hỗ trợ native trên thiết bị Apple thông qua framework MLX. Trọng số của mô hình được phân phối theo giấy phép Apache 2.0.
(Nguồn: BlockBeats)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 9
  • 10
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
OldKeyboardTraitor
· 9giờ trước
Việc chuyển đổi trọng số thành ba giá trị thực sự khó hơn nhiều so với nhị phân, sự tồn tại của 0 giúp giữ lại thông tin linh hoạt hơn, bước này của PrismML chọn đúng.
Xem bản gốcTrả lời0
BoredInBlockspace
· 9giờ trước
1.75GB chứa 8B tham số, về sau LLM cục bộ thật sự trở thành trạng thái bình thường
Xem bản gốcTrả lời0
0xLateDiner
· 9giờ trước
1.58 trọng số bit quá lớn, bộ nhớ video trực tiếp giảm xuống còn một phần chín, tỷ lệ nén này có chút gì đó đặc biệt
Xem bản gốcTrả lời0
GateUser-0f33f9ef
· 10giờ trước
{-1,0,+1} lượng hóa ba giá trị, vẻ đẹp toán học và kỹ thuật đã trở thành hiện thực
Xem bản gốcTrả lời0
ProofOfSnack
· 10giờ trước
Tên gọi Ternary Bonsai thật tuyệt vời, ba giá trị giống như việc cắt tỉa cây cảnh, loại bỏ phức tạp để trở nên đơn giản
Xem bản gốcTrả lời0
BerryColdWallet
· 10giờ trước
Chạy mô hình 8B trên iPhone với 27 token/giây? Người dùng Apple vui mừng khôn xiết
Xem bản gốcTrả lời0
GateUser-e1cfc287
· 10giờ trước
Hiệu suất năng lượng tăng 3-4 lần, lo lắng về tiêu thụ năng lượng của AI biên giới đã có lời giải
Xem bản gốcTrả lời0
L2Mailman
· 10giờ trước
Hỗ trợ gốc MLX, hệ sinh thái của Apple lại thêm một mảnh ghép mới
Xem bản gốcTrả lời0
FoldedCosmosCat
· 10giờ trước
Mã nguồn mở + Apache 2.0, đợt này PrismML đã mở ra một phạm vi mới
Xem bản gốcTrả lời0
Xem thêm
  • Đã ghim