Meituan LongCat-2.0 sincronizou a abertura do código de inferência para placas gráficas domésticas.

robot
Geração do resumo em andamento
金色财经报道, 9 de julho - Como o primeiro modelo do setor a completar inferência em um cluster de computação doméstico com 50 mil cartões, o LongCat-2.0 agora é totalmente open source. Para chips de computação domésticos com limitações de memória e largura de banda, realizamos otimizações profundas e coordenadas em arquitetura de modelo, adaptação de chip e estratégia de implantação, permitindo que modelos de trilhão de parâmetros rodem de forma estável e rápida mesmo em cartões existentes. A abertura do LongCat-2.0 é uma divulgação de caminho técnico e também um convite ao ecossistema. O lançamento open source oferece versões de múltipla precisão, incluindo BF16, FP8 e INT8, cobrindo todas as necessidades de implantação em diferentes plataformas de computação. Ao mesmo tempo, abraçamos profundamente a comunidade open source, abrindo também os resultados de inferência extremamente otimizados para a computação doméstica. Isso significa que, mesmo sem os mais recentes recursos de computação, é possível executar o LongCat-2.0 de forma estável com base no hardware existente. Esperamos que, por meio desta pilha de inferência pronta para uso, mais cartões domésticos, incluindo cartões mais antigos, possam implantar serviços de inferência de modelos de trilhão de parâmetros de forma fluida, gerando maior valor em cenários de produtividade real.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado