Yifan Zhang revela as especificações técnicas completas do DeepSeek V4: 1,6T de parâmetros, 384 ativação de especialistas em 6

robot
Geração de resumo em curso
ME News Notícias, 22 de abril (UTC+8), de acordo com a monitorização do Beating, o doutorando de Princeton Yifan Zhang atualizou detalhes técnicos do DeepSeek V4 na X. Ele anunciou em 19 de abril que a "V4 na próxima semana" e listou três nomes de componentes arquiteturais, e esta noite forneceu a tabela completa de parâmetros, além de divulgar pela primeira vez uma versão leve V4-Lite com 285 bilhões de parâmetros. O total do V4 é de 1,6 trilhão. O mecanismo de atenção é DSA2, combinando as duas abordagens de atenção esparsa usadas anteriormente no DeepSeek V3.2, DSA (DeepSeek Sparse Attention) e NSA (Native Sparse Attention), propostas no artigo deste início de ano, com head-dim de 512, em conjunto com Sparse MQA e SWA (atenção de janela deslizante). A camada MoE possui 384 especialistas, ativando 6 de cada vez, usando o Mega-Kernel Fused MoE. As conexões residuais continuam com Hyper-Connections. Detalhes divulgados pela primeira vez na fase de treinamento incluem: otimizador Muon (um otimizador matricial que aplica a ortogonalização de Newton-Schulz na atualização de momentum), comprimento de contexto pré-treino de 32K, fase de aprendizagem por reforço usando GRPO com adição de correção de divergência KL. O comprimento de contexto final foi expandido para 1 milhão. A modalidade é texto puro. Zhang não ocupa cargo na DeepSeek, e a equipe oficial do DeepSeek não respondeu às informações acima. (Fonte: BlockBeats)
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado