128 placas A100 treinadas do zero! Byte abre o modelo multimodal versátil de 3B de código aberto Lance

ME News Notícias, 19 de maio (UTC+8), de acordo com a monitorização do Beating, a ByteDance (ByteDance Research) lançou oficialmente o modelo multimodal unificado nativo Lance como código aberto. Este é um modelo leve com apenas 3 bilhões de parâmetros de ativação, que suporta simultaneamente a compreensão, geração e edição de imagens e vídeos dentro de uma única estrutura. Atualmente, os modelos unificados predominantes dependem fortemente de ampliar a escala de parâmetros ou de usar arquiteturas de geração de texto e imagem, enquanto Lance trilha uma rota de colaboração com recursos computacionais extremamente baixos. A equipe de desenvolvimento treinou o modelo completamente do zero, reduzindo o orçamento total de cálculo durante todo o ciclo de treinamento para o equivalente a 128 GPUs A100. Para resolver conflitos internos entre diferentes modalidades e tarefas, Lance implementou duas isolamentos rígidos na arquitetura: - Utilização de uma arquitetura de especialistas mistos de fluxo duplo (MoE) para processar sequências multimodais entrelaçadas, compartilhando o contexto de baixo nível enquanto desacopla os caminhos de cálculo de compreensão e geração. - Introdução de codificação de posição rotativa sensível à modalidade, que reduz diretamente a interferência de sinais entre tokens visuais heterogêneos de imagem e vídeo. A compressão extrema de recursos computacionais não reduziu o limite de desempenho. Com apenas 3 bilhões de parâmetros de ativação, Lance lidera a maioria dos testes de referência em geração e edição de imagens e vídeos, superando modelos unificados de código aberto existentes, e demonstra uma rota de baixo custo que equilibra geração e compreensão semântica com poucos parâmetros, por meio de colaboração multitarefa. (Fonte: BlockBeats)
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado