PrfaaS kiến trúc này thú vị, khi không bắt được ngữ cảnh dài sẽ chuyển hướng đến cụm tiền điền riêng biệt, yêu cầu ngắn thì xử lý tại PD cục bộ, điều phối nhận thức băng thông để tránh chen lấn vô ích

Bản tin ME News đưa tin, mặt tối của tháng và Tsinghua đã đề xuất Prefill-as-a-Service trên arXiv, chạy giai đoạn tiền điền của suy luận mô hình lớn qua nhiều trung tâm dữ liệu. Thông qua mô hình chú ý hỗn hợp, giảm đáng kể thông lượng bộ đệm KV, cho phép bộ đệm truyền qua Ethernet và phản hồi về cụm máy chủ cục bộ để giải mã. Kiến trúc PrfaaS xây dựng cụm tiền điền độc lập, chỉ định tuyến các yêu cầu không trúng dài hạn, các yêu cầu ngắn giữ lại tại PD cục bộ; đồng thời giới thiệu định tuyến ngưỡng độ dài, lập lịch cảm nhận băng thông. Thử nghiệm với mô hình hỗn hợp 1T tham số, tăng thông lượng so với PD đồng nhất là 54%, so với mô hình dị hợp đơn thuần là 32%.