Больше офлайн-обучения для черновых моделей: Together AI открывает исходный код Aurora для спекулятивного декодирования с самообучением

Согласно мониторингу 1M AI News, платформа ИИ-облака Together AI открыла исходный код Aurora — адаптивного фреймворка для спекулятивного декодирования на основе обучения с подкреплением. Спекулятивное декодирование — основной метод ускорения инференса больших моделей: оно быстро предсказывает последовательности токенов с помощью небольшой «draft model», которые затем параллельно проверяются более крупной моделью, принимая попадания напрямую и отбрасывая промахи для повторной оценки. Проблема заключается в том, что draft model — статичный продукт, обученный офлайн; как только производственный трафик дрейфует (из‑за обновлений модели, изменений в демографии пользователей или переключения типа задач), точность предсказаний непрерывно снижается, а офлайн-переобучение и дорого, и запаздывает. Aurora переопределяет спекулятивное декодирование как задачу обучения с подкреплением: draft model выступает политикой, крупный верификатор — средой, принятые токены — положительными наградами, а отклонённые токены — отрицательной обратной связью. Система состоит из двух разобщённых компонентов: inference server, который обрабатывает запросы стандартно и стримит результаты верификации в буфер, и training server, который асинхронно подтягивает данные, чтобы обновлять веса draft model, и выполняет hot-replace обратно на стороне inference, не прерывая обслуживание. В имитационных тестах трафика с 40,000 запросами на пяти доменах (математические рассуждения, Text-to-SQL, генерация кода, финансы и общение общего назначения) Aurora восстановила длины принятий примерно в пределах 10,000 запросов после сдвигов домена трафика, добившись ускорения в 1.25 раза по сравнению с хорошо обученной статичной draft model. Примечательно, что Aurora, которая обучается онлайн с нуля, достигла длины принятия 3.08, превзойдя статический базовый уровень 2.63 и базовый уровень «pre-trained then fine-tuned» 2.99, при этом пропускная способность стабилизировалась на 302.3 токенах в секунду, напрямую бросая вызов существующему представлению о том, что «спекулятивное декодирование должно опираться на крупномасштабное офлайн-предобучение». В end-to-end тестах спекулятивное декодирование обеспечило ускорение 1.92 раза на Qwen3-Coder-Next (FP8) при размере батча 1 и 1.63 раза на MiniMax M2.5 (FP8). Предшественник Aurora, ATLAS, заложил основу для адаптивного спекулятора, и это обновление привело к полностью автономной замкнутой системе. Код открыт на GitHub.