Da pesquisa acadêmica à produção de calorias na prática, essa velocidade não parece de academia

Notícias do Coinjie.com, a Zhipu em parceria com a Yuxun Network e a Universidade Tsinghua propôs a arquitetura de rede de inferência de próxima geração para grandes modelos, ZCube, com o objetivo de resolver o problema cada vez mais severo de congestionamento estrutural na implantação separada de PD (pré-preenchimento e decodificação) de grandes modelos.
A arquitetura ZCube já foi implementada no ambiente de produção online do GLM-5.1 coding, com uma rede de 2 saltos e topologia plana de rede, eliminando switches na camada spine, combinando mecanismos de acesso híbrido de uma/múltiplas trilhas, alcançando equilíbrio de carga de tráfego entre switches de rede entre nós.
Nos testes de referência, a arquitetura ZCube reduziu em 33% os custos de hardware de switches e módulos ópticos em comparação com arquiteturas tradicionais, enquanto a taxa média de inferência de GPU aumentou em 15%, e o tempo de latência do primeiro token (TTFT) no percentil P99 caiu 40,6%.