Muon silenciosamente "morreu de fome" 25% dos neurônios: após a reparação Aurora, a eficiência dos dados aumentou cem vezes

De acordo com o monitoramento Beating, a Tilde Research descobriu que o otimizador Muon, utilizado por modelos de destaque como DeepSeek V4, Kimi K2.5 e GLM-5, possui uma falha oculta: ele faz com que, nos estágios iniciais do treino, mais de um quarto dos neurônios da camada MLP morram permanentemente. Com base nisso, a equipe desenvolveu um otimizador alternativo chamado Aurora e o tornou de código aberto. Um modelo de 1,1B de parâmetros treinado com cerca de 100B de tokens conseguiu igualar o desempenho de Qwen3-1.7B, treinado com 36T de tokens, em benchmarks de compreensão de linguagem como HellaSwag e Winogrande.
O problema reside numa característica matemática do Muon ao tratar a matriz de pesos da MLP. No início do treino, alguns neurônios receberam, por acaso, sinais de gradiente mais fracos. Otimizadores tradicionais como AdamW normalizam os parâmetros individualmente, suavizando essa disparidade; mas a etapa de ortogonalização do Muon transmite o sinal fraco sem alterações. Assim, neurônios com sinais fracos continuam recebendo atualizações fracas, tornando-se cada vez mais silenciosos, formando um ciclo vicioso de “os fortes ficam mais fortes”.
Na 500ª etapa de treino, mais de um quarto dos neurônios já estavam praticamente mortos, desperdiçando capacidade de parâmetros.
A versão aprimorada anterior, o NorMuon, tentou mitigar isso forçando a normalização do tamanho de cada linha de atualização, mas ao custo de destruir a ortogonalidade da matriz de atualização (que é o principal diferencial do Muon, tornando cada passo de atualização mais eficiente), resultando em perda de precisão na otimização.
Aurora combina as restrições de “atualização uniforme” e “ortogonalidade” como restrições conjuntas, alternando entre elas de forma iterativa: garantindo que cada neurônio tenha uma oportunidade justa de aprender, sem sacrificar a precisão da atualização.
Sem ajustes de hiperparâmetros, Aurora consome apenas 6% a mais de cálculo em relação ao Muon, podendo substituí-lo diretamente.
Nos testes de pontuação de otimização do modded-nanoGPT, Aurora atingiu um novo recorde em 3175 passos.
A vantagem do Aurora aumenta com a largura da MLP; quanto maior o fator de expansão, maior a melhoria.
O código e o modelo pré-treinado de 1,1B de parâmetros já estão disponíveis como código aberto.