Evolução Pós-Treinamento na V4: OPD Substitui RL Misturado, Destilando Múltiplos Modelos de Especialistas em Um

De acordo com o monitoramento realizado pela Beating, a metodologia pós-treinamento do DeepSeek V4 passou por mudanças significativas: a fase de RL misto do V3.2 foi completamente substituída por On-Policy Distillation (OPD). O novo processo consiste em duas etapas. Na primeira etapa, modelos de especialistas de domínio são treinados em áreas como matemática, codificação, comportamento de agentes e seguimento de instruções, com base na pipeline do V3.2. Cada especialista passa por ajuste fino seguido de aprendizagem por reforço usando GRPO. Na segunda etapa, uma distilação multi-professor OPD combina as capacidades de mais de dez especialistas em um modelo unificado: o estudante realiza uma distilação de logit de divergência KL reversa em todo o vocabulário para cada professor com base em suas próprias trajetórias geradas, alinhando os logits para fundir múltiplos pesos de especialistas em um espaço de parâmetros unificado, evitando assim os conflitos de capacidade comumente observados na fusão de pesos tradicional e no RL misto. O relatório também apresenta o Modelo de Recompensa Generativa (GRM): para tarefas difíceis de validar com regras, em vez de treinar um modelo de recompensa escalar tradicional, são utilizados dados de RL guiados por rubricas para treinar o GRM, permitindo que a rede de atores gere e avalie simultaneamente, possibilitando a generalização para tarefas complexas com uma pequena quantidade de anotações humanas diversificadas.