Tsinghua + Bulan Sisi Gelap kali ini memisahkan pra-pengisian, cache KV dapat ditanggung oleh jaringan Ethereum, peningkatan throughput sebesar 54% memang mengesankan, struktur biaya inferensi konteks panjang akan mengalami perubahan besar

Berita ME News melaporkan bahwa sisi gelap bulan dan Tsinghua mengusulkan Prefill-as-a-Service di arXiv, menjalankan tahap pra-pengisian inferensi model besar lintas pusat data. Melalui model perhatian campuran, secara signifikan mengurangi throughput cache KV, sehingga cache dapat ditransmisikan melalui Ethernet dan dikembalikan ke dekode kluster lokal. Arsitektur PrfaaS membangun kluster pra-pengisian independen, hanya merutekan permintaan yang tidak mengenai konteks panjang, sementara permintaan pendek tetap di PD lokal; dan memperkenalkan routing ambang panjang, penjadwalan yang peka bandwidth. Pengujian nyata pada model campuran 1T parameter, throughput meningkat 54% dibandingkan PD homogen, dan 32% dibandingkan dengan heterogen sederhana.