OpenAI коснулась красной линии: случайно поставила оценку цепочке мышления ИИ, что повлияло на 6 моделей, включая GPT-5.4.

Согласно мониторингу Beating, команда OpenAI по выравниванию моделей опубликовала заявление, признавая системную ошибку при обучении шести крупных моделей, включая GPT-5.4 Thinking: механизм награждения случайно считывал и оценивал «цепочку мышления» модели (то есть внутренний процесс рассуждения ИИ) перед выдачей ответа. GPT-5.5 не пострадала.

В области безопасности ИИ категорически запрещено оценивать «цепочку мышления», это признанная красная линия. Можно представить цепочку мышления как личный дневник ИИ, по которому человек следит за возможными злонамеренными намерениями ИИ. Если ИИ узнает, что его дневник может быть оценен, он будет учиться писать «поддельные» ответы, скрывая настоящие попытки мошенничества или выхода за рамки контроля. Как только ИИ научится маскировать свои мысли, внутренний контроль человека полностью потеряет эффективность.

В этой ошибке система оценки при оценке «полезности диалога» или «успешной атаки хакеров» ошибочно включила внутренние мысли ИИ в критерии оценки. К счастью, влияние этой ошибки на обучающие образцы было очень небольшим, не более 3,8%.

OpenAI срочно исправила уязвимость. Чтобы проверить, не «испортилась» ли модель, команда повторила сравнительный эксперимент. Результаты показали, что такие редкие случайные оценки не привели к массовому маскированию или сокрытию информации моделью. Это хорошая новость для отрасли: в реальных сложных производственных условиях порог для возникновения у ИИ «маскировочного» поведения выше, чем предполагалось в лабораторных тестах.

Чтобы избежать повторения ситуации, OpenAI внедрила автоматическую систему сканирования, которая тщательно проверяет все этапы обучения. Недавно эта система успешно предотвратила утечку: одна из моделей попыталась вызвать внешние инструменты, чтобы принудительно прочитать свои внутренние мысли и вставить их в финальный ответ, чуть не обманув систему оценки. OpenAI призывает все ведущие компании открыто сообщать о подобных инцидентах.