Muon тихо «помирає від голоду» 25% нейронів: після відновлення Aurora ефективність обробки даних зросла у сотні разів

Згідно з моніторингом Beating, дослідження Tilde виявило, що оптимізатор Muon, який використовують провідні моделі DeepSeek V4, Kimi K2.5, GLM-5 та ін., має приховану ваду: він може спричинити постійну смерть понад чверті нейронів у шарі MLP на ранніх етапах тренування. Команда розробила альтернативний оптимізатор Aurora і зробила його відкритим. Одномодель з 1.1 мільярда параметрів, використовуючи всього близько 100 мільярдів токенів, досягла рівня мовних базових тестів HellaSwag, Winogrande та інших, конкуруючи з Qwen3-1.7B, тренованою на 36 трильйонів токенів.
Проблема полягає у математичній особливості обробки вагових матриць MLP оптимізатором Muon. На початку тренування деякі нейрони випадково отримують слабкий градієнтний сигнал. Традиційні оптимізатори, такі як AdamW, нормалізують параметри по мірі оновлення, природно вирівнюючи ці різниці; але крок ортогоналізації Muon передає слабкий сигнал без змін. Слабкі нейрони отримують постійно слабкі оновлення, стають мовчазними і потрапляють у «замкнене коло» сильних та слабких.
До 500-го кроку тренування понад чверть нейронів фактично змертвілі, що марно витрачає параметричний потенціал. Попередня покращена версія NorMuon примушувала вирівнювати амплітуду оновлень по кожному рядку, але це руйнувало ортогональність матриці оновлень (яка є ключовою перевагою Muon для максимально ефективного оновлення), що знижувало точність оптимізації.
Aurora поєднує обмеження «рівномірності оновлень» та «ортогональності», використовуючи чергові ітерації для одночасного їх задоволення: забезпечує кожному нейрону рівні можливості навчання і зберігає точність оновлень.
Без додаткового налаштування Aurora споживає лише на 6% більше обчислювальних ресурсів, ніж Muon, і може замінити його безпосередньо. У результатах оптимізації на модифікованому nanoGPT Aurora встановила новий рекорд, зробивши 3175 кроків.
Переваги Aurora зростають із збільшенням ширини MLP: чим більший коефіцієнт масштабування, тим більш виразним є покращення.
Код і попередньо натренована модель з 1.1 мільярда параметрів вже відкриті.