Làm cho các mô hình AI lớn dễ tiếp cận hơn với máy tính cá nhân tại nhà

Trong hơn ba tháng qua, tôi âm thầm nghiên cứu các phương pháp nhằm giảm mức tải phần cứng và bộ nhớ cần thiết để chạy những mô hình AI rất lớn — đặc biệt là các mô hình mixture-of-experts như GLM-5.2 — trên máy tính cá nhân thông thường.
Công việc này là một phần trong chương trình thạc sĩ khoa học máy tính của tôi, và những kết quả ban đầu rất hứa hẹn.
Hiện tại tôi đã có một bản nguyên mẫu chạy được, và tôi dự định sớm chia sẻ thêm về nó.
Mục tiêu không chỉ là tạo ra một phiên bản nhỏ hơn của mô hình hay tuyên bố rằng hàng trăm tỷ tham số có thể “kỳ diệu” nhét vừa trong một GPU dành cho người dùng phổ thông.
Toàn bộ mô hình vẫn có sẵn, nhưng hệ thống sẽ cố gắng chỉ tải, giữ lại và chuyển các thành phần cần thiết cho giai đoạn suy luận hiện tại.
Nghiên cứu của tôi liên quan đến các mảng như:
Thời gian lưu trú của chuyên gia theo động
Tải trước chuyên gia theo dự đoán
Tải theo phân cấp giữa VRAM, bộ nhớ RAM hệ thống và bộ lưu trữ NVMe
Định tuyến nhận biết bộ nhớ đệm
Giảm việc di chuyển tham số không cần thiết
Điều chỉnh đường thực thi theo phần cứng sẵn có
Gần đây tôi cũng thấy một dự án khác khai thác hướng tương tự, và điều đó khiến tôi quyết định công khai công trình của mình.
Tuy nhiên, tôi cho rằng một số cách tiếp cận hiện tại có thể đang đánh giá thấp tải suy luận thực tế.
Việc chỉ tính các tham số được gán cho các chuyên gia đang hoạt động không phản ánh đầy đủ chi phí của suy luận. Các lớp dùng chung, trạng thái attention, KV cache, quyết định định tuyến, chuyển đổi chuyên gia, băng thông bộ nhớ, lỗi trang (page faults) và đồng bộ hóa CPU-to-GPU đều có thể trở thành các nút thắt quan trọng.
Một hệ thống có thể trông có vẻ hiệu quả khi chỉ đo dựa trên các tham số đang hoạt động, nhưng vẫn hoạt động kém khi suy luận end-to-end thực tế, vì nó liên tục chuyển dữ liệu giữa bộ nhớ lưu trữ, RAM và VRAM.
Vì vậy, cách tiếp cận của tôi không chỉ tập trung vào việc chọn ít chuyên gia hơn.
Nó còn cân nhắc nơi các thành phần mô hình nên được đặt, thời điểm chúng nên được di chuyển, điều gì cần được giữ trong cache và cách dự đoán các yêu cầu sắp tới mà không cần tải những phần không cần thiết của mô hình.
Nghiên cứu vẫn đang tiếp tục, và vẫn còn rất nhiều thử nghiệm cần hoàn tất. Tuy nhiên, các kết quả cho đến nay cho thấy có thể tồn tại một lối đi thực tiễn để chạy các mô hình lớn hơn nhiều trên phần cứng người dùng phổ thông với áp lực bộ nhớ đỉnh thấp hơn đáng kể.
Bản nguyên mẫu đã hoạt động, dù vẫn mang tính thử nghiệm và cần tối ưu hóa thêm, xác thực và kiểm thử trên nhiều cấu hình phần cứng khác nhau.
Tôi dự định sớm chia sẻ bản nguyên mẫu, hoặc một bản trình diễn công khai sớm của nó.
Các thí nghiệm đang tạo ra kết quả rất hứa hẹn.
Và tôi tin rằng suy luận của các mô hình lớn trên máy tính tại nhà có thể trở nên hiệu quả hơn đáng kể so với hiện nay.
Sẽ sớm có thêm thông tin. #AI