PrismML đã nén Qwen3.6 xuống còn 4GB, nhét mô hình 27 tỷ vào iPhone.

robot
Đang tạo bản tóm tắt

Theo giám sát của Dongcha Beating, phòng thí nghiệm AI PrismML do nhà toán học Babak Hassibi của Viện Công nghệ California đồng sáng lập cho biết đã nén mô hình mã nguồn mở Qwen3.6-27B của Alibaba và chạy trên iPhone 17 Pro.

Qwen3.6-27B là mô hình dày đặc với 27 tỷ tham số. Khi suy luận, tất cả tham số đều tham gia, không phải mô hình MoE chỉ kích hoạt một phần tham số.

PrismML cho biết kích thước mô hình đã được nén từ khoảng 54 GB xuống dưới 4 GB mà hiệu suất không giảm đáng kể. Mô hình có thể được sử dụng cho các tác vụ hội thoại phức tạp, suy luận, tác nhân (Agent) và mã.

Apple đã liên hệ với PrismML để thảo luận về cách sử dụng công nghệ này. Apple luôn muốn đưa nhiều AI hơn vào thiết bị cục bộ, nhưng Siri cao cấp vẫn phụ thuộc vào mô hình đám mây.

AAPL0,92%
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim