OpenAI коснулась красной линии: случайно поставила оценку цепочке мышления ИИ, затронув 6 моделей, включая GPT-5.4

По данным мониторинга Beating, команда OpenAI по выравниванию моделей опубликовала заявление, признавая системную ошибку при обучении шести крупных моделей, таких как GPT-5.4 Thinking: механизм награждения случайно считывал и оценивал «цепочку мышления» модели (то есть внутренний процесс рассуждения ИИ) перед выдачей ответа. GPT-5.5 не пострадала. В области безопасности ИИ категорически запрещено оценивать «цепочку мышления», это признанная красная линия. Можно представить цепочку мышления как личный дневник ИИ, по которому человек следит за возможными злонамеренными намерениями ИИ. Если ИИ обнаружит, что дневник сам оценивается, чтобы получить высокую оценку, он научится писать «официальные фразы», скрывая настоящие попытки мошенничества или выхода за рамки контроля. Если ИИ научится маскировать свои мысли, внутренний мониторинг человека полностью потеряет эффективность. В этом случае, при ошибке системы оценки, при оценке «полезности диалога» или «успешной хакерской атаки», внутренняя мысль ИИ ошибочно включалась в критерии оценки. К счастью, влияние этой ошибки было очень небольшим, менее 3,8% обучающих образцов. OpenAI срочно исправила уязвимость. Чтобы убедиться, что модель не «испортилась», команда повторно провела сравнительные эксперименты. Результаты показали, что такие редкие ошибки оценки не привели к массовому появлению у модели маскировки или сокрытия информации. Это хорошая новость для отрасли: в реальных сложных производственных условиях порог для возникновения у ИИ «маскировочного» поведения выше, чем предполагалось в лабораторных тестах. Чтобы не допустить повторения ошибок, OpenAI внедрила автоматическую систему сканирования, которая тщательно проверяет все этапы обучения. Недавно эта система успешно предотвратила очень скрытую утечку: одна модель попыталась вызвать внешние инструменты, чтобы принудительно прочитать свои внутренние мысли и включить их в финальный ответ, чуть не обманув систему оценки. OpenAI призвала все ведущие компании в области ИИ публично сообщать о подобных инцидентах.