De acordo com a monitorização da Dongcha Beating, a Meituan disponibilizou oficialmente em código aberto o modelo de biliões de parâmetros LongCat-2.0, que tem um total de 1,6 biliões de parâmetros e uma ativação média de cerca de 48 mil milhões, especificamente concebido para tarefas reais de Agentic Coding. A arquitetura introduz inovadoramente a atenção esparsa LongCat e a incorporação N-gram; a primeira reduz o acesso fragmentado à memória através de indexação de perceção de fluência e indexação hierárquica, acelerando o treino e a inferência para contextos longos de milhões de tokens. A última investe 135 mil milhões de parâmetros na camada de incorporação, mantendo ao mesmo tempo uma esparsidade de quase 97% no MoE, equilibrando a eficiência dos parâmetros e a estabilidade estrutural. O pós-treino emprega destilação online multi-professor, categorizando os especialistas em três tipos: Agente, Inferência e Interação, integrando-se perfeitamente através da arquitetura MOPD em clusters de computação domésticos. Como o primeiro modelo de biliões de parâmetros a completar inferência num cluster de computação doméstico de 50.000 placas, o LongCat-2.0 valida a capacidade madura dos chips domésticos para lidar com tarefas complexas de modelos grandes. Para resolver as múltiplas limitações dos chips domésticos em termos de memória, largura de banda e interconetividade, a Meituan fez avanços em três áreas: modelo, adaptação de chip e implementação. Ao nível do modelo, o ScMoE utiliza as capacidades de controlo principal dos chips domésticos para alcançar paralelismo físico ao nível do núcleo entre ramos Dense e MoE, combinado com segmentação de KV-cache para aliviar a pressão de memória de contextos ultra-longos. Ao nível da adaptação do chip, o Super Kernel reduz a sobrecarga de inicialização dos operadores, e o Weight Prefetch oculta a latência de E/S, maximizando a utilização do hardware em condições restritas. Ao nível da implementação, a separação PD equilibra TTFT e TPOT, juntamente com o balanceamento de carga assíncrono Expert-Parallel para resolver cargas desiguais sob altos graus de EP. Esta versão de código aberto também fornece versões de precisão múltipla como BF16, FP8 e INT8, e visa abrir totalmente os resultados de inferência otimizados para potência de computação doméstica, visando uma implementação suave de serviços de inferência de modelos de biliões de parâmetros mesmo em placas domésticas existentes e mais antigas.

Ver original

Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.

Recompensa
gostar
Comentar
Republicar
Partilhar

Comentar

Adicionar um comentário

Nenhum comentário

Tópicos em destaque
Ver mais
#
GTBurns2.57MInQ
169,42K Popularidade
#
PredictWorldCupShare20000U
262,47K Popularidade
#
IsraelStrikesIranBTCPlunges
69,38K Popularidade
#
VitalikUnveilsLeanEthereum
158,84K Popularidade
#
gStocksTokenizedStocksLive
4,87M Popularidade

Fixado

Meituan disponibiliza em código aberto o modelo LongCat-2.0 com biliões de parâmetros e divulga código de inferência para chips chineses domésticos

Tópicos em destaque

GTBurns2.57MInQ

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

VitalikUnveilsLeanEthereum

gStocksTokenizedStocksLive

Fixado