Trí Tuệ Tập Trung: Gia Đình Mô Hình Bonsai AI Mới Cho Phép AI Hiệu Suất Cao Vượt Ra Ngoài Trung Tâm Dữ Liệu

Tóm tắt nhanh

PrismML nổi lên từ chế độ ẩn và ra mắt Bonsai, một mô hình AI mã nguồn mở cực nhỏ, thể hiện trí tuệ mạnh mẽ tương xứng với quy mô của nó và có khả năng chạy trên phần cứng người dùng phổ thông.

PrismML, một phòng nghiên cứu AI có trụ sở tại California, đã công bố một dòng mô hình Bonsai 1-bit mới được thiết kế để mang trí tuệ tiên tiến trực tiếp đến các thiết bị nơi con người sinh sống và làm việc, thay vì chỉ giới hạn AI trong các trung tâm dữ liệu lớn

Bắt nguồn từ nghiên cứu được thực hiện tại Caltech, PrismML cho biết công việc của họ tập trung vào việc tối đa hóa “mật độ thông minh”, một thước đo về năng lực hữu ích mà một mô hình có thể mang lại trên mỗi đơn vị kích thước và dấu chân triển khai. Cách tiếp cận này tương phản với phát triển AI truyền thống, vốn thường nhấn mạnh việc tăng kích thước mô hình và số lượng tham số, đánh đổi lấy khả năng triển khai và hiệu suất.

Mô hình chủ lực của phòng thí nghiệm, 1-bit Bonsai 8B, có thiết kế hoàn chỉnh 1-bit trên tất cả các thành phần, bao gồm embeddings, các lớp attention, các lớp MLP và đầu ra, không có các lớp dự phòng độ chính xác cao hơn. Ở mức 1,15 GB, mô hình này nhỏ hơn khoảng 14 lần so với các mô hình 16-bit tương đương trong cùng nhóm tham số, tuy nhiên PrismML báo cáo rằng nó vẫn duy trì hiệu năng cạnh tranh trên các bộ benchmark tiêu chuẩn. Kích thước được cắt giảm cho phép triển khai trên các thiết bị như iPhone, iPad và Mac, cũng như các GPU phổ thông, mang lại suy luận nhanh hơn và mức sử dụng bộ nhớ thấp hơn so với các mô hình quy mô lớn truyền thống.

PrismML nhấn mạnh rằng đột phá này không chỉ nằm ở hiệu năng mà còn ở việc AI có thể hoạt động ở đâu. Các mô hình nhỏ hơn, hiệu quả hơn cho phép các ứng dụng độ trễ thấp hơn, tăng cường quyền riêng tư nhờ tính toán trên thiết bị, và duy trì khả năng hoạt động trong môi trường ngoại tuyến hoặc bị hạn chế băng thông

Các ứng dụng tiềm năng bao gồm các tác nhân bền bỉ trên thiết bị, robot thời gian thực, trợ lý copilots cho doanh nghiệp, và các công cụ gốc AI được thiết kế cho các bối cảnh an toàn hoặc giới hạn tài nguyên. PrismML lập luận rằng việc tập trung trí tuệ mở rộng không gian thiết kế cho AI, khiến các hệ thống phản hồi nhanh hơn, đáng tin cậy hơn và có thể triển khai rộng rãi hơn.

Mở rộng Bonsai: Các mô hình 1-Bit nhỏ hơn nâng cao hiệu quả và trí tuệ cho thiết bị ở rìa

Ngoài Bonsai 8B, PrismML đã giới thiệu các mô hình nhỏ hơn, 1-bit Bonsai 4B và 1.7B, mở rộng các nguyên lý về hiệu quả và mật độ thông minh tương tự sang các kích thước mô hình được thu gọn hơn. Các bản demo ban đầu cho thấy thông lượng cao, hiệu quả năng lượng tốt và độ chính xác benchmark cạnh tranh trên toàn bộ dòng. Phòng thí nghiệm cũng cho biết các mô hình chạy hiệu quả trên phần cứng thương mại hiện tại và rằng các thiết bị trong tương lai được tối ưu cho suy luận 1-bit có thể mang lại những cải thiện hiệu quả thậm chí lớn hơn.

Bản phát hành của PrismML thể hiện một sự chuyển dịch rộng hơn trong phát triển AI, nhấn mạnh trí tuệ tập trung và khả năng di chuyển thay vì chỉ thuần túy quy mô. Phòng thí nghiệm hình dung một tương lai trong đó AI tiên tiến vận hành liền mạch trên cả thiết bị đám mây và thiết bị ở rìa, giúp các hệ thống thông minh trở nên sẵn có ở bất cứ nơi nào chúng cần. Các mô hình Bonsai 1-bit có sẵn theo giấy phép Apache 2.0, hỗ trợ triển khai trên các thiết bị Apple, GPU NVIDIA và nhiều nền tảng khác.