Muon тихо «помирає від голоду» 25% нейронів: після відновлення Aurora ефективність обробки даних зросла у сотні разів

Згідно з моніторингом Beating, дослідження Tilde виявило, що оптимізатор Muon, який використовують провідні моделі DeepSeek V4, Kimi K2.5, GLM-5 та ін., має приховану ваду: він може спричинити постійну смерть понад чверті нейронів у шарі MLP на ранніх етапах тренування. Команда розробила альтернативний оптимізатор Aurora і зробила його відкритим. Одномодель з 1.1 млрд параметрів, використовуючи всього близько 100 млрд токенів, досягла рівня Qwen3-1.7B, тренованого на 36 трлн токенів, на мовних бенчмарках HellaSwag, Winogrande та інших.

Проблема полягає у математичній особливості обробки Muon матриць вагових коефіцієнтів MLP. На початку тренування деякі нейрони випадково отримують слабкий градієнтний сигнал. Традиційні оптимізатори, такі як AdamW, нормалізують параметри по мірі оновлення, природно вирівнюючи ці різниці; але крок ортогоналізації Muon передає слабкий сигнал без змін. Слабкі нейрони отримують постійно слабкі оновлення, стають мовчазними і потрапляють у «замкнене коло сильних і слабких». До 500-го кроку тренування понад чверть нейронів фактично змертвілі, що марно витрачає параметричний потенціал.

Попередня модифікація NorMuon намагалася пом’якшити цю проблему, примушуючи оновлення кожного рядка матриці бути рівномірними, але це руйнувало ортогональність матриці оновлень (яка є ключовою перевагою Muon, забезпечуючи максимально ефективне оновлення), і знижувало точність оптимізації. Aurora поєднує обмеження «рівномірності оновлень» і «ортогональності» у спільну цільову функцію, використовуючи чергові ітерації для одночасного задоволення обох: забезпечує кожному нейрону рівні можливості для навчання і не жертвує точністю оновлень.

Без додаткового налаштування Aurora споживає лише на 6% більше обчислювальних ресурсів, ніж Muon, і може бути безпосередньо замінений. У результатах оптимізації modded-nanoGPT Aurora зумів оновити рекорд, зробивши 3175 кроків. Переваги Aurora зростають із збільшенням ширини MLP: чим вищий коефіцієнт розширення, тим більш виразним є покращення.

Код і модель з 1.1 млрд параметрів для попереднього тренування вже відкриті.