MIT CSAIL:仅奖励正确答案导致推理模型过度自信,新方法提升不确定性估计

AIMPACT 消息,4 月 26 日(UTC+8),MIT CSAIL研究发现,顶级推理模型在强化学习训练中因仅奖励正确答案而未考虑置信度,导致模型变得过度自信。研究团队提出一种新方法,通过训练模型估计每个答案的置信度,在不损害准确性的前提下显著提升了不确定性估计能力。该工作揭示了当前强化学习训练机制的一个关键缺陷,并提出了有效的改进方向。(来源:InFoQ)
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论
  • 置顶