Thanh Hoa + Mặt tối của tháng này đã tách phần tiền dự trữ ra để chạy, bộ đệm KV có thể chịu đựng được qua mạng Ethereum, tăng throughput 54% thực sự rất tuyệt, cấu trúc chi phí của suy luận ngữ cảnh dài sẽ thay đổi lớn rồi

Bản tin ME News đưa tin, mặt tối của tháng và Tsinghua đã đề xuất Prefill-as-a-Service trên arXiv, chạy giai đoạn tiền điền của suy luận mô hình lớn qua nhiều trung tâm dữ liệu. Thông qua mô hình chú ý hỗn hợp, giảm đáng kể thông lượng bộ đệm KV, cho phép bộ đệm truyền qua Ethernet và phản hồi về cụm xử lý cục bộ. Kiến trúc PrfaaS xây dựng cụm tiền điền độc lập, chỉ định tuyến các yêu cầu không trúng mục tiêu dài, các yêu cầu ngắn giữ lại tại PD cục bộ; đồng thời giới thiệu định tuyến ngưỡng độ dài, lập lịch cảm biến băng thông. Thử nghiệm với mô hình hỗn hợp 1T tham số, tăng thông lượng so với PD đồng nhất là 54%, so với mô hình dị hợp đơn thuần là 32%.