Mặt tối của mặt trăng này, dịch vụ Prefill-as-a-Service chơi khá phức tạp, gửi phần tiền đi xa để chạy, chỉ giữ lại giải mã ở địa phương, áp lực băng thông trực tiếp giảm một nửa, cuối cùng có thể xem xét hiệu suất chi phí của các kịch bản dài và ngữ cảnh mở rộng.

ME News đưa tin, mặt tối của tháng và Tsinghua đã đề xuất trên arXiv Prefill-as-a-Service, chạy giai đoạn tiền điền của suy luận mô hình lớn qua nhiều trung tâm dữ liệu. Thông qua mô hình chú ý hỗn hợp, giảm đáng kể thông lượng bộ đệm KV, cho phép bộ đệm truyền qua Ethernet và phản hồi về cụm giải mã cục bộ. Kiến trúc PrfaaS xây dựng cụm tiền điền độc lập, chỉ định tuyến các yêu cầu không trúng mục tiêu dài, yêu cầu ngắn giữ lại tại PD cục bộ; đồng thời giới thiệu định tuyến ngưỡng độ dài, lập lịch cảm biến băng thông. Thử nghiệm với mô hình hỗn hợp 1T tham số, tăng thông lượng so với PD đồng dạng là 54%, so với mô hình dị hợp thuần túy là 32%.