Muon silenciosamente "morreu de fome" 25% dos neurônios: após a reparação Aurora, a eficiência dos dados aumentou cem vezes

De acordo com o monitoramento Beating, a Tilde Research descobriu que o otimizador Muon, utilizado nos principais modelos como DeepSeek V4, Kimi K2.5, GLM-5, possui uma falha oculta: ele faz com que as camadas MLP tenham mais de um quarto dos neurônios morrendo permanentemente nos estágios iniciais do treino. Com base nisso, a equipe desenvolveu um otimizador alternativo chamado Aurora e o tornou de código aberto. Um modelo de 1,1B apenas com cerca de 100B de tokens conseguiu igualar o desempenho em benchmarks de compreensão de linguagem como HellaSwag, Winogrande, em comparação com o Qwen3-1.7B treinado com 36T de tokens.

O problema reside numa característica matemática do Muon ao lidar com a matriz de pesos da camada MLP. No início do treino, alguns neurônios acidentalmente recebem sinais de gradiente mais fracos. Otimizadores tradicionais como AdamW normalizam os parâmetros ao longo do tempo, suavizando essas diferenças; mas a etapa de ortogonalização do Muon transmite o sinal fraco sem alterações. Assim, neurônios com sinais fracos continuam recebendo atualizações fracas, tornando-se cada vez mais silenciosos, formando um ciclo vicioso de “os fortes ficam mais fortes”. Até a 500ª etapa, mais de um quarto dos neurônios já estavam praticamente mortos, desperdiçando capacidade de parâmetros.

A versão aprimorada anterior, NorMuon, tentou mitigar isso forçando a uniformidade nas atualizações de cada linha, mas ao custo de destruir a ortogonalidade da matriz de atualização (que torna cada passo de atualização o mais eficiente possível, sendo uma vantagem central do Muon), resultando em perda de precisão na otimização. Aurora combina as restrições de “atualização uniforme” e “ortogonalidade” em uma restrição conjunta, usando iteração alternada para satisfazer ambas simultaneamente: garantindo que cada neurônio tenha uma oportunidade justa de aprender, sem sacrificar a precisão da atualização.

Sem ajustes de parâmetros, Aurora consome apenas 6% a mais de cálculo do que Muon, podendo ser utilizado como substituto direto. Nos testes de pontuação de otimização do modded-nanoGPT, Aurora quebrou o recorde atual em 3175 passos. A vantagem do Aurora aumenta com a largura da camada MLP; quanto maior o fator de expansão, maior a melhoria.

O código e o modelo pré-treinado de 1,1B já estão disponíveis como código aberto.