PrismML ra mắt Bonsai 27B, mẫu AI 27B nén chỉ còn 3,9 GB dành cho iPhone
Theo PrismML, công ty đã phát hành Bonsai 27B, một mô hình AI nén với 27 tỷ tham số, chỉ nặng 3,9 GB, vào đầu tuần này—nhỏ đến mức có thể chạy trên iPhone 17 Pro Max với tốc độ 11 token mỗi giây. Phiên bản ba trị giữ lại 94,6% hiệu năng so với các bài benchmark chuẩn ở mức độ “đầy đủ” về độ chính xác, vượt trội hơn các bản Qwen low-bit thông thường vốn gần gấp đôi dung lượng và sụp đổ ở cả các tác vụ toán học lẫn lập trình. Phiên bản nhị phân đạt 1,125 bit cho mỗi trọng số bằng cách lượng tử hóa
GateNews·07-15 20:02
