PrfaaS cấu trúc này khá táo bạo — tách biệt PD đến mức tối đa, tiền điền độc lập thành dịch vụ, định tuyến theo ngưỡng độ dài, thực tế thử nghiệm còn có thể khai thác thêm 32% thông lượng so với phương pháp dị hợp đơn thuần, sự đổi mới trong tầng hạ tầng bắt đầu sôi động rồi

Bản tin ME News đưa tin, mặt tối của tháng và Tsinghua đã đề xuất trên arXiv dịch vụ Prefill-as-a-Service, chạy giai đoạn tiền điền của suy luận mô hình lớn qua nhiều trung tâm dữ liệu. Thông qua mô hình chú ý hỗn hợp, giảm đáng kể thông lượng bộ đệm KV, cho phép bộ đệm truyền qua Ethernet và phản hồi về giải mã cụm cục bộ. Kiến trúc PrfaaS xây dựng cụm tiền điền độc lập, chỉ định tuyến các yêu cầu không trúng mục tiêu với ngữ cảnh dài, các yêu cầu ngắn giữ lại tại PD cục bộ; đồng thời giới thiệu định tuyến ngưỡng độ dài, lập lịch cảm biến băng thông. Thử nghiệm thực tế với mô hình hỗn hợp 1T tham số, tăng thông lượng so với PD đồng nhất là 54%, so với phân tán thuần túy là 32%.