PrfaaS arsitektur ini menarik, konteks panjang yang tidak cocok akan dialihkan ke kluster pengisian awal yang terpisah, permintaan pendek dilayani oleh PD lokal, penjadwalan yang peka bandwidth menghindari kemacetan yang tidak perlu

Berita ME News melaporkan bahwa sisi gelap bulan dan Tsinghua mengusulkan Prefill-as-a-Service di arXiv, menjalankan tahap pra-pengisian inferensi model besar lintas pusat data. Melalui model perhatian campuran, secara signifikan mengurangi throughput cache KV, sehingga cache dapat ditransmisikan melalui Ethernet dan dikembalikan ke dekode kluster lokal. Arsitektur PrfaaS membangun kluster pra-pengisian independen, hanya merutekan permintaan yang tidak mengenai konteks panjang, sementara permintaan pendek tetap di PD lokal; dan memperkenalkan routing ambang panjang, penjadwalan yang peka bandwidth. Pengujian nyata pada model campuran 1T parameter, throughput meningkat 54% dibandingkan PD homogen, dan 32% dibandingkan dengan heterogen sederhana.