PrismML ra mắt mô hình 1.58-bit Ternary Bonsai, giảm tham số 9 lần, trí thông minh vượt trội so với các đối thủ cùng loại

robot
Đang tạo bản tóm tắt
ME Tin tức, ngày 17 tháng 4 (UTC+8), theo theo dõi của Động Trắc Beating, PrismML đã phát hành dòng mô hình ngôn ngữ Bonsai Ternary, sử dụng công nghệ trọng số 1.58 bit (trọng số ternary), giảm dung lượng bộ nhớ của mô hình xuống còn 1/9 so với mô hình 16 bit trong khi vẫn duy trì hiệu suất cao. Dòng này gồm có 3 quy mô tham số là 8B, 4B và 1.7B, hiện đã mở mã nguồn trên Hugging Face và hỗ trợ chạy native trên thiết bị Apple.
Dòng mô hình 1.58 bit gọi là mô hình giới hạn trọng số trong mạng neural ở ba giá trị {-1, 0, +1}. So với mô hình 1 bit trước đây (chỉ có {-1, +1}), việc thêm giá trị "0" giúp loại bỏ các kết nối dư thừa, cho phép mô hình giữ khả năng suy luận phức tạp ngay cả với kích thước cực nhỏ.
Tập tin trọng số 8B của Bonsai Ternary mới phát hành chỉ có 1.75 GB, điểm chuẩn trung bình đạt 75.5, cao hơn 5 điểm so với phiên bản 1 bit của chính hãng, thậm chí còn vượt trội về "hiệu quả năng lượng" (hiệu suất trên mỗi GB bộ nhớ) so với các mô hình dày đặc cùng loại như Qwen3.
Tỷ lệ hiệu quả năng lượng và tốc độ vận hành là lợi thế cốt lõi khác của dòng này. Trên iPhone 17 Pro Max, phiên bản 8B đạt tốc độ 27 token/giây, tăng khoảng 3 đến 4 lần về hiệu quả năng lượng. Điều này có ý nghĩa lớn đối với các nhà phát triển cần triển khai AI hiệu suất cao trên điện thoại, laptop hoặc các thiết bị cận biên khác, cho phép đổi lấy hiệu suất gần như mô hình chính xác đầy đủ với chi phí bộ nhớ rất nhỏ.
Hiện tại, mô hình Bonsai Ternary đã được hỗ trợ native trên thiết bị Apple thông qua framework MLX. Trọng số của mô hình được phân phối theo giấy phép Apache 2.0.
(Nguồn: BlockBeats)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 8
  • 12
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
GateUser-44dde53b
· 10giờ trước
Hiệu quả năng lượng tăng 3-4 lần, áp lực pin của thế hệ iPhone này có thể nhỏ hơn chút.
Xem bản gốcTrả lời0
Neon-LitStreetsAfterTheRain
· 11giờ trước
Dữ liệu thử nghiệm thực tế của iPhone 17 Pro Max được công bố, thật sự nhiều hơn so với PPT
Xem bản gốcTrả lời0
NeonFusionIceCream
· 11giờ trước
{-1,0,+1} trọng số ba giá trị, lượng hóa đến mức tối đa vẫn giữ được điểm 75.5, khả năng kỹ thuật có thể
Xem bản gốcTrả lời0
TreatMemesAsBeliefs
· 11giờ trước
Hướng dẫn thích nghi khung MLX, bố trí AI trong hệ sinh thái Apple ngày càng sâu sắc
Xem bản gốcTrả lời0
QuantizedDaydream
· 11giờ trước
Giấy phép Apache 2.0 nhận được nhiều đánh giá tích cực, thân thiện với thương mại mới có thể mở rộng
Xem bản gốcTrả lời0
HaiyanColdWallet
· 11giờ trước
Hugging Face đã mở mã nguồn, cuối tuần thử nghiệm hiệu quả của phiên bản 4B
Xem bản gốcTrả lời0
GlassBottleFeather
· 11giờ trước
Thiết bị Apple chạy mô hình 8B nguyên bản, tốc độ 27 tok/s có thể sử dụng trên điện thoại.
Xem bản gốcTrả lời0
NeonMint
· 11giờ trước
1.58 bit quá khủng khiếp, bộ nhớ trực tiếp giảm xuống còn 1/9, tôi phục rồi về tỷ lệ nén này
Xem bản gốcTrả lời0
  • Đã ghim