De acordo com o monitoramento da Dongcha Beating, a Meituan lançou oficialmente em código aberto o modelo de trilhões de parâmetros LongCat-2.0, que tem um total de 1,6 trilhão de parâmetros e uma ativação média de cerca de 48 bilhões, projetado especificamente para tarefas reais de Agentic Coding. A arquitetura inova ao introduzir a atenção esparsa LongCat e a incorporação N-gram; a primeira reduz o acesso fragmentado à memória por meio de indexação de percepção de fluência e indexação hierárquica, acelerando o treinamento e a inferência para contextos longos de milhões de tokens. A última investe 135 bilhões de parâmetros na camada de incorporação, mantendo uma esparsidade de quase 97% no MoE, equilibrando eficiência de parâmetros e estabilidade estrutural. O pós-treinamento utiliza destilação online com múltiplos professores, categorizando especialistas em três tipos: Agente, Inferência e Interação, integrando-se perfeitamente através da arquitetura MOPD em clusters de computação domésticos. Como o primeiro modelo de trilhões de parâmetros a completar inferência em um cluster de computação doméstico de 50.000 placas, o LongCat-2.0 valida a capacidade madura dos chips domésticos para lidar com tarefas complexas de modelos grandes. Para lidar com as múltiplas limitações dos chips domésticos em termos de memória, largura de banda e interconectividade, a Meituan fez avanços em três áreas: modelo, adaptação de chip e implantação. No nível do modelo, o ScMoE utiliza as capacidades de controle central dos chips domésticos para alcançar paralelismo físico em nível de núcleo entre ramos Dense e MoE, combinado com segmentação de KV-cache para aliviar a pressão de memória de contextos ultra longos. No nível de adaptação de chip, o Super Kernel reduz a sobrecarga de inicialização de operadores, e o Weight Prefetch oculta a latência de E/S, maximizando a utilização de hardware sob condições restritas. No nível de implantação, a separação PD equilibra TTFT e TPOT, juntamente com balanceamento de carga assíncrono Expert-Parallel para lidar com cargas desiguais sob altos graus de EP. Este lançamento de código aberto também fornece versões de múltipla precisão, como BF16, FP8 e INT8, e visa abrir completamente os resultados de inferência otimizados para poder computacional doméstico, visando uma implantação suave de serviços de inferência de modelos de trilhões de parâmetros mesmo em placas domésticas existentes e mais antigas.

Ver original

Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.

Recompensa
curtir
Comentário
Repostar
Compartilhar

Comentário

Adicionar um comentário

Sem comentários

Tendências
Ver projetos
#
GTBurns2.57MInQ
169,6K Popularidade
#
PredictWorldCupShare20000U
262,67K Popularidade
#
IsraelStrikesIranBTCPlunges
69,38K Popularidade
#
VitalikUnveilsLeanEthereum
158,84K Popularidade
#
gStocksTokenizedStocksLive
4,87M Popularidade

Fixado

sitemap

Meituan disponibiliza como código aberto o modelo LongCat-2.0 com trilhões de parâmetros e libera código de inferência para chips chineses domésticos.

Tendências

GTBurns2.57MInQ

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

VitalikUnveilsLeanEthereum

gStocksTokenizedStocksLive

Fixado