MIT CSAIL:僅獎勵正確答案導致推理模型過度自信,新方法提升不確定性估計

AIMPACT 訊息,4 月 26 日(UTC+8),MIT CSAIL 研究發現,頂級推理模型在強化學習訓練中因僅獎勵正確答案而未考量置信度,導致模型變得過度自信。研究團隊提出一種新方法,透過訓練模型來估計每個答案的置信度,在不損害準確性的前提下顯著提升了不確定性估計能力。該工作揭示了目前強化學習訓練機制的一個關鍵缺陷,並提出了有效的改進方向。(來源:InFoQ)
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆
  • 已置頂