MIT CSAIL:正解だけを報酬にすることで推論モデルが過度に自信を持つ問題を解消し、新手法が不確実性推定を改善

AIMPACTのニュース。4月26日(UTC+8)。MIT CSAILの研究により、最上位の推論モデルが強化学習の訓練中に正解だけに報酬を与え、確信度を考慮しなかったため、モデルが過度に自信を持つようになってしまうことが判明した。研究チームは、新しい方法として、各回答の確信度をモデルに推定させる訓練を行い、正確性を損なうことなく不確実性推定能力を大幅に向上させた。これは、現在の強化学習訓練メカニズムにおける重要な欠陥を明らかにし、有効な改善の方向性を示すものだ。(出典:InFoQ)
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし
  • ピン留め