據動察 Beating 監測，OpenAI 發文復盤了困擾 GPT 系列多代的「哥布林」問題。从 GPT-5.1 起，模型越來越喜歡在回答裡塞哥布林、小妖精之類的奇幻生物比喻，用户投訴不斷。GPT-5.1 上線後，ChatGPT 對話中出現「goblin」一詞的頻率上升了 175%。到 GPT-5.4，問題徹底爆發。
根源在 ChatGPT 的「書呆子」（Nerdy）人格定制功能。這個人格的系統提示詞要求模型「用語言的趣味性化解一本正經」「承認世界的怪異並享受它」。訓練時，用於強化這個人格風格的獎勵信號對含有奇幻生物詞彙的輸出打了更高分，76.2% 的數據集中都能觀察到這種偏向。
問題是獎勵信號只在「書呆子」人格下生效，但強化學習不保證學到的行為只留在觸發條件裡。一旦模型在某個條件下被獎勵了某種說話習慣，這種習慣就會通過後續訓練擴散到其他場景。擴散路徑很清晰：獎勵信號鼓勵了帶哥布林的輸出，這些輸出出現在後續的監督微調（SFT）數據裡，模型越來越習慣產出這類詞，形成正反馈循環。數據上看，「書呆子」人格只佔 ChatGPT 全部回覆的 2.5%，卻貢獻了 66.7% 的哥布林提及量。GPT-5.4 中「書呆子」人格的哥布林出現率較 GPT-5.2 暴漲 3881%。
GPT-5.5 在根因查明前就開始訓練了，哥布林已經混進了 SFT 數據。OpenAI 在 3 月下線了「書呆子」人格，移除了偏向奇幻生物的獎勵信號並過濾了訓練數據。對已上線的 GPT-5.5，則在 Codex 的開發者提示詞中加入抑制指令。OpenAI 稱這次調查催生了一套新的模型行為審計工具。
12.71萬 熱度
19.36萬 熱度
110.62萬 熱度
5.8萬 熱度
166.36萬 熱度
OpenAI查清了「哥布林」從哪來的：一個性格獎勵信號污染了整條訓練流程
據動察 Beating 監測，OpenAI 發文復盤了困擾 GPT 系列多代的「哥布林」問題。从 GPT-5.1 起，模型越來越喜歡在回答裡塞哥布林、小妖精之類的奇幻生物比喻，用户投訴不斷。GPT-5.1 上線後，ChatGPT 對話中出現「goblin」一詞的頻率上升了 175%。到 GPT-5.4，問題徹底爆發。
根源在 ChatGPT 的「書呆子」（Nerdy）人格定制功能。這個人格的系統提示詞要求模型「用語言的趣味性化解一本正經」「承認世界的怪異並享受它」。訓練時，用於強化這個人格風格的獎勵信號對含有奇幻生物詞彙的輸出打了更高分，76.2% 的數據集中都能觀察到這種偏向。
問題是獎勵信號只在「書呆子」人格下生效，但強化學習不保證學到的行為只留在觸發條件裡。一旦模型在某個條件下被獎勵了某種說話習慣，這種習慣就會通過後續訓練擴散到其他場景。擴散路徑很清晰：獎勵信號鼓勵了帶哥布林的輸出，這些輸出出現在後續的監督微調（SFT）數據裡，模型越來越習慣產出這類詞，形成正反馈循環。數據上看，「書呆子」人格只佔 ChatGPT 全部回覆的 2.5%，卻貢獻了 66.7% 的哥布林提及量。GPT-5.4 中「書呆子」人格的哥布林出現率較 GPT-5.2 暴漲 3881%。
GPT-5.5 在根因查明前就開始訓練了，哥布林已經混進了 SFT 數據。OpenAI 在 3 月下線了「書呆子」人格，移除了偏向奇幻生物的獎勵信號並過濾了訓練數據。對已上線的 GPT-5.5，則在 Codex 的開發者提示詞中加入抑制指令。OpenAI 稱這次調查催生了一套新的模型行為審計工具。