Mô hình mã nguồn mở 1-bit Bonsai của Caltech: 8B tham số chỉ 1.15GB, chạy trên iPhone đạt 44 token/s

Tin tức từ CoinJie.com: Theo dõi của 1M AI News, phòng thí nghiệm AI PrismML do nhà toán học Babak Hassibi của Viện Công nghệ California (Caltech) đồng sáng lập đã kết thúc giai đoạn ẩn danh, phát hành mã nguồn mở cho bộ mô hình ngôn ngữ thế hệ Bonsai 1-bit. Mô hình flagship là 1-bit Bonsai 8B có 8,2 tỷ tham số, mức sử dụng bộ nhớ chỉ 1,15 GB, nén khoảng 14 lần so với các mô hình 16-bit cùng phân khúc (khoảng 16 GB). Các trọng số được mở tải trên HuggingFace theo giấy phép Apache 2.0, đồng thời ra mắt thêm hai mô hình nhỏ hơn: 4B (0,5 GB) và 1,7B (0,24 GB). Bonsai 8B là mô hình 1-bit đầu cuối thực sự: lớp nhúng, lớp attention, lớp MLP và đầu ra đều chỉ dùng biểu diễn trọng số bằng +1 hoặc -1, không có bất kỳ bản vá/patch độ chính xác cao nào. PrismML cho biết năng lực suy luận và hiểu ngôn ngữ của họ trên các bộ benchmark tiêu chuẩn là tương đương với mô hình toàn độ chính xác 16-bit. Toán học nén cốt lõi được nhóm nghiên cứu, phát triển trong nhiều năm tại Caltech; quyền sở hữu trí tuệ thuộc về Caltech, và PrismML là bên cấp phép độc quyền duy nhất. Mô hình được huấn luyện bằng Google v4 TPU. Kết quả đo thực tế về tốc độ: trên M4 Pro Mac đạt 136 tok/s, trên RTX 4090 đạt 440 tok/s, trên iPhone 17 Pro Max khoảng 44 tok/s, trong khi mô hình chuẩn 16-bit 8B không thể chạy vừa trên bất kỳ iPhone nào. Mức tiêu thụ năng lượng giảm khoảng 4-5 lần so với mô hình 16-bit. PrismML cho biết phần cứng hiện tại không được thiết kế cho suy luận 1-bit; lợi thế về tốc độ và năng lượng chủ yếu đến từ việc giảm kích thước bộ nhớ. Nếu trong tương lai có phần cứng được thiết kế riêng cho suy luận 1-bit (chỉ cần phép cộng/trừ, không cần phép nhân), hiệu suất còn có thể tăng thêm một bậc về quy mô. PrismML đã hoàn tất vòng SAFE và vòng hạt giống trị giá 16,25 triệu USD, với các nhà đầu tư gồm Khosla Ventures, Cerberus Capital và Caltech. Vinod Khosla, người sáng lập Khosla Ventures, cho biết: “Đây không phải là một bước lặp nhỏ, mà là một đột phá công nghệ lớn, là một đột phá về toán học, không chỉ là một mô hình nhỏ khác nữa.”