Caltech mở nguồn mô hình 1-bit Bonsai: 8B tham số chỉ 1.15GB, chạy trên iPhone đạt 44 token/s

BlockBeatNews · 2026-04-01T03:50:53+00:00

Phòng thí nghiệm AI PrismML do Babak Hassibi đồng sáng lập tại Caltech đã phát hành dòng mô hình ngôn ngữ lớn Bonsai 1-bit, mô hình hàng đầu Bonsai 8B chỉ chiếm 1.15 GB bộ nhớ, với 8.2 tỷ tham số, nén 14 lần so với mô hình 16-bit, khả năng suy luận tương đương với mô hình 16-bit. Mô hình mở mã nguồn theo giấy phép Apache 2.0, huy động được 16,25 triệu USD, trong đó nhà đầu tư bao gồm Khosla Ventures.

BlockBeatNews

2026-04-01 03:50:53

Đang tạo bản tóm tắt

Theo dõi của 1M AI News, phòng thí nghiệm AI PrismML được đồng sáng lập bởi nhà toán học Babak Hassibi của Học viện Công nghệ California (Caltech) đã kết thúc thời gian ẩn danh, mở mã nguồn cho loạt mô hình ngôn ngữ lớn Bonsai 1-bit. Mô hình chủ lực 1-bit Bonsai 8B có 8,2 tỷ tham số, mức sử dụng bộ nhớ chỉ 1,15 GB, nén khoảng 14 lần so với các mô hình 16-bit cùng phân khúc (khoảng 16 GB). Trọng số được mở tải trên HuggingFace theo giấy phép Apache 2.0, đồng thời ra mắt hai mô hình nhỏ hơn là 4B (0,5 GB) và 1,7B (0,24 GB).

Bonsai 8B là mô hình 1-bit thực sự end-to-end: lớp nhúng, lớp attention, lớp MLP và đầu ra đều chỉ biểu diễn trọng số bằng +1 hoặc -1, không có bất kỳ bản vá độ chính xác cao nào. PrismML cho biết khả năng suy luận và hiểu ngôn ngữ của họ trên các bộ chuẩn benchmark tiêu chuẩn là tương đương với mô hình 16-bit toàn độ chính xác. Toán học nén cốt lõi do nhóm phát triển trong nhiều năm tại Caltech, quyền sở hữu trí tuệ thuộc về Caltech, và PrismML là bên được cấp phép độc quyền duy nhất. Mô hình được huấn luyện bằng Google v4 TPU.

Hiệu năng thực đo: trên M4 Pro Mac đạt 136 token/s, trên RTX 4090 đạt 440 token/s, và trên iPhone 17 Pro Max khoảng 44 token/s; trong khi mô hình 16-bit 8B chuẩn không thể vừa vào bất kỳ iPhone nào. Mức tiêu thụ năng lượng giảm khoảng 4–5 lần so với mô hình 16-bit. PrismML cho biết phần cứng hiện tại không được thiết kế cho suy luận 1-bit; các lợi thế về tốc độ và năng lượng chủ yếu đến từ việc giảm mức chiếm dụng bộ nhớ. Nếu trong tương lai có phần cứng được thiết kế riêng cho 1-bit (chỉ cần cộng và trừ, không cần nhân), hiệu suất còn có thể tăng thêm một bậc độ lớn.

PrismML hoàn tất vòng SAFE và vòng hạt giống trị giá 16,25 triệu USD, với các nhà đầu tư gồm Khosla Ventures, Cerberus Capital và Caltech. Vinod Khosla, người sáng lập Khosla Ventures, cho biết: “Đây không phải là một cải tiến nhỏ, mà là một đột phá kỹ thuật lớn—một đột phá về toán học—không chỉ là thêm một mô hình nhỏ nữa.”

Xem bản gốc

Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.

2 thích