Cursor mã nguồn mở Mixture-of-Kittens, giúp tăng tốc quá trình huấn luyện mô hình MoE thêm 41%
Theo OneMillion AI, Cursor đã mã nguồn mở Mixture-of-Kittens (MoK), một kỹ thuật được thiết kế để tăng tốc quá trình huấn luyện các mô hình lớn Mixture-of-Experts (MoE). MoK hợp nhất việc truyền dữ liệu GPU và tính toán vào một kernel duy nhất, cho phép thực hiện song song hai tác vụ này nhằm giảm thời gian nhàn rỗi. Các mô hình MoE phân bổ tham số cho nhiều mạng con chuyên gia, đòi hỏi dữ liệu phải thường xuyên được truyền giữa các GPU. MoK giải quyết nút thắt này bằng cách chồng lấp hoạt động
GateNews·08-05 04:41



