GPU genérico consegue rodar 1T MoE e ultrapassar mil tokens, essa colaboração de design é interessante

Notícia do Coinjie Wang, a equipe Xiaomi Mimo e o sistema de otimização de compilação AI Tilert anunciaram o lançamento do modo de inferência Mimo-v2.5-pro-ultraspeed.
Em um nó padrão de GPU de 8 cartões de uso geral, conseguiu-se alcançar uma velocidade de geração superior a 1.000 tokens/s em um modelo híbrido de especialistas (MoE) com 1 trilhão de parâmetros, com pico de cerca de 1.200 tokens/s.
Isso marca a primeira vez que, sem a necessidade de hardware não convencional, como integração em nível de wafer ou chips dedicados de SRAM puramente em chip, apenas com hardware padrão de uso geral e design colaborativo de modelo-sistema, foi atingida uma velocidade de geração de 1 trilhão de tokens por modelo.