Yifan Zhang revela as especificações técnicas completas do DeepSeek V4: 1,6T de parâmetros, 384 ativação de especialistas em 6

De acordo com o monitoramento Beating, o estudante de doutoramento da Princeton Yifan Zhang atualizou os detalhes técnicos do DeepSeek V4 no X. Ele anunciou em 19 de abril que o “V4 na próxima semana” e listou três nomes de componentes de arquitetura, e nesta noite forneceu a tabela completa de parâmetros, além de divulgar pela primeira vez uma versão leve V4-Lite com 285 bilhões de parâmetros.

O total do V4 é de 1,6 trilhão. O mecanismo de atenção é DSA2, que combina as duas abordagens de atenção esparsa usadas anteriormente no DeepSeek V3.2, o DSA (DeepSeek Sparse Attention) e o NSA (Native Sparse Attention) proposto na publicação deste início de ano, com head-dim de 512, em conjunto com Sparse MQA e SWA (atenção de janela deslizante). A camada MoE possui 384 especialistas, ativando 6 a cada vez, usando o Fused MoE Mega-Kernel. As conexões residuais continuam com Hyper-Connections.

Os detalhes divulgados pela primeira vez na fase de treinamento incluem: otimizador Muon (um otimizador matricial que aplica a ortogonalização de Newton-Schulz na atualização de momentum), comprimento de contexto de pré-treinamento de 32 mil, fase de reforço de aprendizagem com GRPO e inclusão de correção de divergência KL. O comprimento de contexto final foi expandido para 1 milhão. A modalidade é texto puro.

Zhang não ocupa cargo na DeepSeek, e a equipe oficial da DeepSeek não respondeu às informações acima.