Muon тихо «умер» на 25% нейронов: после восстановления Aurora эффективность данных выросла в сотни раз

Согласно мониторингу Beating, исследовательская команда Tilde обнаружила скрытый дефект в оптимизаторе Muon, используемом в ведущих моделях DeepSeek V4, Kimi K2.5, GLM-5 и других: он вызывает постоянную смерть более четверти нейронов в слоях MLP на ранних этапах обучения. В связи с этим команда разработала альтернативный оптимизатор Aurora и открыла его исходный код. Одномодель с 1.1 миллиарда параметров, обученная всего на примерно 100 миллиардах токенов, достигла уровня языковых задач HellaSwag, Winogrande и других, сравнимого с Qwen3-1.7B, обученной на 36 триллионах токенов.

Проблема кроется в математической особенности обработки весов MLP в Muon. На начальных этапах обучения некоторые нейроны случайно получают слабые градиенты. Традиционные оптимизаторы, такие как AdamW, проводят нормализацию по параметрам, что естественным образом сглаживает такие различия; однако шаг ортогонализации Muon передает слабые сигналы без изменений. В результате слабые нейроны продолжают получать слабое обновление, становясь всё более молчаливыми, что создает порочный круг «сильные остаются сильными». К 500-му шагу более четверти нейронов фактически умирают, что зря тратит параметры модели.

Предыдущая улучшенная версия NorMuon боролась с этим, принуждая к равномерному масштабированию обновлений по строкам, но при этом разрушала ортогональность матрицы обновлений (которая обеспечивает эффективность каждого шага и является ключевым преимуществом Muon), что снижало точность оптимизации. Aurora объединяет ограничения «равномерности обновлений» и «ортогональности», используя чередующиеся итерации для одновременного соблюдения обеих целей: обеспечивая каждому нейрону равные возможности обучения и не жертвуя точностью обновлений.

Без настройки параметров Aurora потребляет всего на 6% больше вычислительных ресурсов, чем Muon, и может полностью заменить его. В результатах оптимизации на modded-nanoGPT Aurora достигла нового рекорда за 3175 шагов. Преимущество Aurora усиливается с увеличением ширины MLP: чем выше коэффициент расширения, тем заметнее улучшение.

Код и предварительно обученная модель с 1.1 миллиарда параметров уже опубликованы.