Після тренування модель виведення SU-01 досягає золотої медалі у завданнях рівня олімпіади

AIMPACT повідомлення, 16 травня (UTC+8), опубліковано нову статтю, яка пропонує системний підхід до перетворення моделей після тренування для логічних висновків у олімпійські рівні розв’язувачів задач, а також на основі цього методу тренує модель SU-01. Цей підхід складається з трьох кроків: спочатку використовується курс зворотної плутаності для керованого тонкого налаштування, щоб впровадити строгий пошук доказів та самоперевірку; потім ці поведінки розширюються за допомогою двоетапного підкріпленого навчання (від підкріпленого навчання з підтверджувальними нагородами до підкріпленого навчання на рівні доказів); нарешті, під час тестування застосовується масштабування для підвищення продуктивності. Команда дослідження застосувала цей метод до базової моделі 30B-A3B, використовуючи близько 340 000 траєкторій з 8 тисячами токенів для керованого тонкого налаштування, а потім провела 200 кроків підкріпленого навчання, отримавши SU-01. Ця модель здатна стабільно логічно розв’язувати складні задачі, з довжиною траєкторії понад 100 000 токенів, досягаючи рівня золотої медалі на змаганнях IMO 2025/USAMO 2026 та IPhO 2024/2025, а також демонструє здатність до генералізації у галузі наукових міркувань поза межами математики та фізики. (Джерело: InFoQ)