Từ SFT đến RL rồi đến mở rộng thời gian kiểm tra, ba giai đoạn tiến bộ như xây dựng các khối xếp hình, đưa mô hình nhỏ 30B lên huy chương vàng IMO, con đường rõ ràng đến đáng sợ

AIMPACT đề xuất phương pháp hệ thống chuyển đổi mô hình suy luận sau huấn luyện thành bộ giải đề cấp Olympic, gồm ba bước: sử dụng khóa học phản nghịch độ rối loạn để huấn luyện tinh chỉnh giám sát truyền đạt tìm kiếm chứng cứ và tự kiểm tra; sau đó mở rộng qua hai giai đoạn học tăng cường; trong quá trình thử nghiệm, thực hiện nâng cao quy mô để cải thiện hiệu suất. Áp dụng cho backbone 30B-A3B, sử dụng khoảng 340.000 đoạn theo dõi con 8K để huấn luyện tinh chỉnh giám sát, sau đó 200 bước RL, thu được SU-01. Mô hình này có khả năng suy luận ổn định đối với các bài toán khó, theo dõi hơn 100.000 token trong các đoạn theo dõi, đạt cấp huy chương vàng trong các cuộc thi như IMO/USAMO/IPhO, và thể hiện khả năng tổng quát hóa suy luận khoa học vượt ra ngoài lĩnh vực toán học/vật lý.