128 placas A100 treinadas do zero! Byte abre o modelo multimodal versátil de 3 bilhões de parâmetros Lance

ME News Notícias, 19 de maio (UTC+8), de acordo com o monitoramento do Beating, a ByteDance Research abriu oficialmente o código do modelo multimodal unificado nativo Lance. Este é um modelo leve com apenas 3 bilhões de parâmetros de ativação, que suporta simultaneamente compreensão, geração e edição de imagens e vídeos dentro de uma única estrutura. Atualmente, os modelos unificados mainstream dependem fortemente de ampliar a escala de parâmetros ou de usar arquiteturas de geração de texto e imagem, enquanto Lance trilha uma rota de colaboração com baixo poder de cálculo. A equipe de pesquisa treinou o modelo completamente do zero, reduzindo o orçamento total de cálculo de todo o ciclo de treinamento para 128 GPUs A100. Para resolver conflitos internos entre diferentes modalidades e tarefas, Lance implementou duas isolamentos rígidos na arquitetura: - Utilização de uma arquitetura de especialistas mistos de fluxo duplo (MoE) para processar sequências multimodais entrelaçadas, compartilhando o contexto de baixo nível ao mesmo tempo em que desacopla os caminhos de cálculo de compreensão e geração. - Introdução de codificação de posição rotativa sensível à modalidade, que diretamente reduz a interferência de sinais entre tokens visuais heterogêneos de imagem e vídeo. A compressão extrema de poder de cálculo não reduziu o limite de desempenho. Com apenas 3 bilhões de parâmetros de ativação, o desempenho de geração e edição de imagens e vídeos do Lance lidera a maioria dos testes de referência existentes para modelos unificados de código aberto, passando por múltiplas tarefas de forma colaborativa, demonstrando uma rota de baixo custo que equilibra geração e compreensão semântica com poucos parâmetros. (Fonte: BlockBeats)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado