GPU genérico roda 1T MoE ultrapassa mil tokens, esse design colaborativo é interessante

Notícias do Coinjie.com, a equipe Xiaomi Mimo e o sistema de otimização de compilação AI Tilert anunciaram o lançamento do modo de inferência Mimo-v2.5-pro-ultraspeed.
Em um nó padrão de GPU geral de 8 cartões, conseguiu-se alcançar uma velocidade de geração superior a 1.000 tokens/s em um modelo híbrido de especialistas (MoE) com 1 trilhão de parâmetros, com pico de aproximadamente 1.200 tokens/s.
Isso marca uma primeira vez na história, sem a necessidade de hardware não convencional, como integração em nível de wafer ou chips dedicados de SRAM puro em chip, apenas com hardware padrão e design colaborativo de modelo-sistema, ultrapassando a velocidade de geração de 1 trilhão de tokens por modelo.