128 placas A100 treinadas do zero! Modelo multimodal versátil de código aberto da ByteDance, Lance, com 3B

robot
Geração de resumo em curso
Notícias do ME News, 19 de maio (UTC+8), de acordo com a monitorização do Beating, a ByteDance (ByteDance Research) lançou oficialmente o modelo multimodal unificado nativo Lance como código aberto. Este é um modelo leve com apenas 3 bilhões de parâmetros de ativação, que suporta simultaneamente a compreensão, geração e edição de imagens e vídeos dentro de uma única estrutura. Atualmente, os modelos unificados predominantes dependem fortemente de ampliar a escala de parâmetros ou de usar arquiteturas de geração de texto e imagem, enquanto Lance trilha uma rota de colaboração com baixo poder computacional. A equipe de desenvolvimento treinou o modelo completamente do zero, reduzindo o orçamento total de cálculo durante todo o ciclo de treinamento para o equivalente a 128 GPUs A100. Para resolver conflitos internos entre diferentes modalidades e tarefas, Lance implementou duas isolamentos rígidos na arquitetura: - Utilização de uma arquitetura de especialistas mistos de fluxo duplo (MoE) para processar sequências multimodais entrelaçadas, compartilhando o contexto de baixo nível ao mesmo tempo que desacopla os caminhos de cálculo de compreensão e geração. - Introdução de codificação de posição rotativa sensível à modalidade, que reduz diretamente a interferência de sinais entre tokens visuais heterogêneos de imagem e vídeo. A compressão extrema de poder computacional não reduziu o limite de desempenho. Com apenas 3 bilhões de parâmetros de ativação, Lance lidera na maioria dos testes de referência em geração e edição de imagens e vídeos, superando modelos unificados de código aberto existentes, e demonstra uma rota de baixo custo que equilibra geração e compreensão semântica com poucos parâmetros, por meio de colaboração multitarefa. (Fonte: BlockBeats)
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado