Nhét mô hình dense 27 tỷ tham số vào túi, tỷ lệ nén này hơi quá đáng, Apple cuối cùng cũng không thể ngồi yên?

Tin từ Bì Giới Võng, PrismML cho biết đã nén mô hình nguồn mở Qwen3.6-27B của Alibaba xuống còn khoảng 4GB và chạy thành công trên iPhone 17 Pro. Qwen3.6-27B là mô hình dày đặc có 27 tỷ tham số, trong quá trình suy luận tất cả các tham số đều tham gia tính toán, không phải mô hình MOE chỉ kích hoạt một phần tham số. PrismML cho biết kích thước mô hình đã được nén từ khoảng 54GB xuống dưới 4GB mà không bị suy giảm hiệu suất đáng kể, phù hợp cho các tác vụ hội thoại phức tạp, suy luận, agent và code. Apple đã liên hệ với PrismML để thảo luận về cách áp dụng công nghệ này vào thiết bị của họ, mặc dù Siri cao cấp vẫn phụ thuộc vào mô hình đám mây.