PrismML phát hành Bonsai 27B: Mô hình AI 3,9 GB chạy trên iPhone
PrismML đã ra mắt Bonsai 27B vào đầu tuần trước, một mô hình AI với 27 tỷ tham số được nén còn 3,9 GB, chạy trên iPhone 17 Pro Max với tốc độ 11 token mỗi giây. Biến thể tam phân giữ lại 94,6% hiệu năng benchmark so với bản dùng độ chính xác đầy đủ, đồng thời vừa khít trong giới hạn bộ nhớ của smartphone, đánh dấu lần đầu tiên một mô hình ở mức năng lực này vượt được ngân sách bộ nhớ của một thiết bị tiêu dùng. Phương pháp nén, được xây dựng trên tài sản sở hữu trí tuệ của Caltech, giảm mỗi trọn
NVDA3,46%
OliverGrant·07-15 20:03
