Caltech phát hành mô hình mã nguồn mở True 1-Bit Model Bonsai: 8B tham số chỉ với 1.15GB, đạt 44 token/giây trên iPhone

Theo 1M AI News, phòng thí nghiệm AI PrismML, đồng sáng lập bởi nhà toán học Babak Hassibi của Caltech, đã thoát chế độ ẩn và phát hành bộ mô hình ngôn ngữ mã nguồn mở thuộc dòng 1-bit Bonsai. Mẫu chủ lực, 1-bit Bonsai 8B, có 8,2 tỷ tham số và chỉ chiếm 1,15 GB bộ nhớ, tức là được nén khoảng 14 lần so với các mô hình 16-bit tương đương (khoảng 16 GB). Các trọng số có sẵn để tải xuống theo giấy phép Apache 2.0 trên HuggingFace, cùng với hai mô hình nhỏ hơn: 4B (0,5 GB) và 1,7B (0,24 GB). Bonsai 8B là một mô hình 1-bit end-to-end thực thụ: lớp nhúng, lớp attention, lớp MLP và output head đều biểu diễn trọng số chỉ bằng +1 hoặc -1, mà không có bất kỳ bản vá/miếng ghép độ chính xác cao nào. PrismML tuyên bố rằng khả năng suy luận và hiểu ngôn ngữ của họ trên các bộ benchmark tiêu chuẩn là tương đương với các mô hình 16-bit độ chính xác đầy đủ. Toán học cốt lõi của quá trình nén được nhóm phát triển trong nhiều năm tại Caltech, với quyền sở hữu trí tuệ thuộc về Caltech, khiến PrismML trở thành bên được cấp độc quyền duy nhất. Mô hình được huấn luyện bằng Google v4 TPU. Tốc độ đo được bao gồm 136 tokens/s trên M4 Pro Mac, 440 tokens/s trên RTX 4090 và khoảng 44 tokens/s trên iPhone 17 Pro Max, trong khi các mô hình 8B chuẩn 16-bit không thể được tải lên bất kỳ chiếc iPhone nào. Mức tiêu thụ năng lượng giảm khoảng 4-5 lần so với các mô hình 16-bit. PrismML lưu ý rằng phần cứng hiện có không được thiết kế cho suy luận 1-bit, và lợi thế về tốc độ lẫn năng lượng chủ yếu đến từ việc giảm mức sử dụng bộ nhớ; nếu trong tương lai xuất hiện phần cứng được thiết kế riêng cho các tác vụ 1-bit (chỉ yêu cầu cộng và trừ, không có nhân) thì hiệu quả có thể được cải thiện lên một bậc. PrismML đã hoàn tất vòng tài trợ SAFE và seed trị giá $16,25 triệu, với các nhà đầu tư bao gồm Khosla Ventures, Cerberus Capital và Caltech. Vinod Khosla, người sáng lập Khosla Ventures, cho biết: “Đây không phải là một lần lặp nhỏ, mà là một bước đột phá công nghệ lớn, một bước đột phá về mặt toán học, không chỉ là thêm một mô hình nhỏ khác.”