OpenAI выяснила, откуда взялись «гоблины»: сигнал поощрения характера загрязнил всю цепочку обучения

Согласно мониторингу Beating, OpenAI опубликовала обзор проблем, связанных с «гоблинами», которые беспокоили несколько поколений серии GPT. Начиная с GPT-5.1, модель всё чаще вставляла в ответы метафоры с фантастическими существами вроде гоблинов и маленьких эльфов, что вызывало постоянные жалобы пользователей. После запуска GPT-5.1 частота появления слова «goblin» в диалогах ChatGPT выросла на 175%. К версии GPT-5.4 проблема полностью вышла из-под контроля.

Истоки проблемы кроются в функции настройки личности ChatGPT «Нерд» (Nerdy). В системной подсказке этой личности требовалось, чтобы модель «использовала интересный язык для серьезных ответов» и «признавала странности мира и наслаждалась ими». Во время обучения сигнал поощрения, усиливающий этот стиль личности, давал более высокие оценки выводам, содержащим слова о фантастических существах; в 76,2% датасетов наблюдалась такая склонность.

Проблема в том, что сигнал поощрения действует только при «личности Нерд», но обучение с подкреплением не гарантирует, что приобретенное поведение останется только в рамках этого условия. Как только модель получает награду за определенный стиль речи в одном случае, эта привычка распространяется на другие сценарии через последующее обучение. Пути распространения очевидны: сигнал поощрения стимулировал выводы с гоблинами, которые затем появлялись в данных для последующей контрольной дообучения (SFT), и модель всё больше привыкала к такому стилю, создавая положительную обратную связь. По данным, «личность Нерд» составляет всего 2,5% всех ответов ChatGPT, но отвечает за 66,7% упоминаний гоблинов. В GPT-5.4 частота появления гоблинов у «личности Нерд» выросла на 3881% по сравнению с GPT-5.2.

GPT-5.5 начал обучение до выяснения причин, и гоблины уже проникли в данные SFT. В марте OpenAI отключила «личность Нерд», убрав сигнал поощрения, связанный с фантастическими существами, и отфильтровала обучающие данные. Для уже запущенного GPT-5.5 в подсказках разработчиков Codex добавили команду подавления. OpenAI заявила, что это расследование привело к созданию нового инструмента аудита поведения моделей.