后训练推理模型SU-01在奥赛级试题中实现金牌性能

robot
摘要生成中
AIMPACT 消息,5 月 16 日(UTC+8),一篇新论文提出将后训练推理模型转化为奥林匹克级别解题器的系统方法,并基于该方法训练出SU-01模型。该方法包含三个步骤:首先使用反向困惑度课程进行监督微调,以灌输严格的证明搜索和自我检查行为;然后通过两阶段强化学习(从可验证奖励强化学习过渡到证明级强化学习)扩展这些行为;最后通过测试时缩放提升性能。研究团队将方法应用于30B-A3B骨干模型,使用约34万条子8K token轨迹进行监督微调,随后进行200步强化学习,得到SU-01。该模型能对困难问题进行稳定推理,轨迹长度超过10万token,在IMO 2025/USAMO 2026和IPhO 2024/2025等竞赛中达到金牌级别,并展示了在数学和物理之外的科学推理领域的泛化能力。(来源:InFoQ)
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 6
  • 2
  • 分享
评论
请输入评论内容
请输入评论内容
NoSleepBridge
· 4小时前
后训练转化这套方法论,其他领域能抄作业吗
回复0
Exit Liquidity Stan
· 4小时前
自我检查机制是关键,很多模型缺的就是这个
回复0
潮汐线外的NFT
· 4小时前
34万条轨迹喂进去,RL才200步,效率有点东西
回复0
松针与冷风
· 4小时前
终于有人把证明搜索当成核心能力来训了,方向对了
回复0
镜面花瓣
· 4小时前
物理奥赛也能搞?这泛化能力确实 unexpected
回复0
SudoSoul
· 4小时前
IMO金牌级别...以后竞赛是不是要分人类组和AI组了
回复0