128 placas A100 treinadas do zero! Byte abre fonte do modelo multimodal versátil 3B Lance

robot
Geração do resumo em andamento
ME News Notícias, 19 de maio (UTC+8), de acordo com o monitoramento do Beating, a ByteDance Research abriu oficialmente o código do modelo multimodal unificado nativo Lance. Este é um modelo leve com apenas 3 bilhões de parâmetros de ativação, que suporta simultaneamente compreensão, geração e edição de imagens e vídeos dentro de uma única estrutura. Atualmente, os modelos unificados mainstream dependem fortemente de ampliar a escala de parâmetros ou de usar arquiteturas de geração de texto e imagem, enquanto Lance trilha uma rota de colaboração com baixo poder de cálculo. A equipe de desenvolvimento treinou o modelo completamente do zero, reduzindo o orçamento total de cálculo de todo o ciclo de treinamento para o equivalente a 128 GPUs A100. Para resolver conflitos internos entre diferentes modalidades e tarefas, Lance implementou duas isolamentos rígidos na arquitetura: - Utilizou uma arquitetura de especialistas mistos de fluxo duplo (MoE) para processar sequências multimodais entrelaçadas, compartilhando o contexto de baixo nível ao mesmo tempo em que desacopla os caminhos de cálculo de compreensão e geração. - Introduziu codificação de posição rotativa sensível à modalidade, que diretamente reduz a interferência de sinais entre tokens visuais heterogêneos de imagem e vídeo. A compressão extrema de poder de cálculo não reduziu o limite de desempenho. Com apenas 3 bilhões de parâmetros de ativação, Lance lidera na maioria dos testes de referência em geração e edição de imagens e vídeos, superando modelos unificados de código aberto existentes, e trilha uma rota de baixo custo que equilibra geração e compreensão semântica através de múltiplas tarefas colaborativas. (Fonte: BlockBeats)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado