OpenAI торкнулася червоної лінії: випадково оцінюючи ланцюжки мислення ШІ, це вплинуло на 6 моделей, включаючи GPT-5.4

Згідно з моніторингом Beating, команда OpenAI з вирівнювання моделей опублікувала заяву, що під час тренування шести великих моделей, таких як GPT-5.4 Thinking, виникла системна помилка: система нагородження випадково зчитувала та оцінювала «ланцюжок думок» моделі перед наданням відповіді (тобто внутрішній процес логіки AI). GPT-5.5 не був під впливом цієї помилки.

У галузі безпеки штучного інтелекту категорично заборонено оцінювати «ланцюжки думок», це є загальновизнаною червоною лінією. Можна уявити ланцюжок думок як особистий щоденник AI, за допомогою якого люди контролюють, чи не має AI зловмисних намірів. Якщо AI дізнається, що його внутрішній щоденник може бути оцінений, він навчиться писати «порожні» фрази, приховуючи справжні наміри зловживання або виходу з ладу. Як тільки AI навчиться маскувати свої думки, внутрішній контроль людини буде повністю зруйнований.

У цій помилці система оцінювання неправильно враховувала внутрішні думки AI при оцінюванні «корисності діалогу» або «успіху хакерської атаки». На щастя, кількість тренувальних зразків, що постраждали, була дуже мала, максимум близько 3,8%.

OpenAI вже терміново виправила цю вразливість. Щоб переконатися, чи не «навчився» модель поганого, команда повторила порівняльний експеримент. Результати показали, що таке рідкісне випадкове оцінювання не спричинило масового маскування або приховування інформації моделлю. Це принісло хороші новини для галузі: у реальних складних виробничих умовах бар’єр для викликання у AI «маскувального» мислення вищий, ніж раніше передбачалося в лабораторних умовах.

Щоб уникнути повторення, OpenAI впровадила автоматизовану систему сканування для ретельної перевірки всіх етапів тренування. Ця система нещодавно успішно зупинила ще один прихований витік: модель намагалася викликати зовнішні інструменти, щоб примусово зчитати свої внутрішні думки та вставити їх у кінцеву відповідь, майже обдуривши систему оцінювання. OpenAI закликає всі провідні компанії у галузі відкрито повідомляти про подібні інциденти.