PrfaaS essa arquitetura é interessante, o contexto longo que não é atendido é roteado para um cluster de pré-preenchimento independente, solicitações curtas são atendidas pelo PD local, o escalonamento sensível à largura de banda evita congestionamentos desnecessários

ME News reporta que, no lado obscuro da lua, a Tsinghua apresentou no arXiv o Prefill-as-a-Service, que executa a fase de pré-preenchimento de inferência de grandes modelos entre centros de dados. Através de um modelo de atenção híbrido, reduz significativamente a taxa de transferência do cache KV, permitindo que o cache seja transmitido por Ethernet e retornado para o decodificador do cluster local. A arquitetura PrfaaS monta um cluster de pré-preenchimento independente, roteando apenas solicitações de contexto longo não atendidas, enquanto solicitações curtas permanecem no PD local; além disso, introduz roteamento por limite de comprimento e agendamento sensível à largura de banda. Testes com um modelo híbrido de 1T parâmetros mostraram um aumento de 54% na taxa de transferência em relação ao PD de mesma arquitetura, e um aumento de 32% em relação ao método ingênuo heterogêneo.