Cours de perplexité inversée + RL en deux étapes + standardisation lors du test, avec cette combinaison, le plafond de performance du modèle d'inférence après entraînement a été encore dépassé.

AIMPACT propose une méthode systématique pour transformer un modèle d'inférence post-entraînement en un solveur de niveau olympique, en trois étapes : une fine-tuning supervisée avec un cours de perplexité inversée pour intégrer la recherche de preuve et l'auto-vérification ; une extension par apprentissage par renforcement en deux phases ; et une amélioration par mise à l'échelle lors de l'inférence. Appliqué à un backbone 30B-A3B, utilisant environ 340 000 trajectoires sous 8K sous-espaces pour la fine-tuning supervisée, suivi de 200 étapes de RL, on obtient SU-01. Ce modèle peut effectuer une inférence stable sur des problèmes difficiles, avec des trajectoires dépassant 100 000 tokens, atteignant un niveau de médaille d'or dans des compétitions telles que l'IMO/USAMO/IPhO, tout en montrant une capacité de généralisation à la raisonnement scientifique dans des domaines au-delà des mathématiques et de la physique.