OpenAI торкнулася червоної лінії: випадково оцінюючи ланцюжки мислення ШІ, це вплинуло на 6 моделей, включаючи GPT-5.4

Згідно з моніторингом Beating, команда OpenAI з вирівнювання моделей опублікувала заяву, що під час тренування шести великих моделей, таких як GPT-5.4 Thinking, виникла системна помилка: система нагородження випадково зчитувала та оцінювала «ланцюжок думок» моделі перед наданням відповіді (тобто внутрішній процес роздумів ШІ). GPT-5.5 не був під впливом цієї помилки. У галузі безпеки ШІ категорично заборонено оцінювати «ланцюжки думок», це є загальновизненою червоною лінією. Можна уявити ланцюжок думок як особистий щоденник ШІ, читання якого дозволяє людині контролювати, чи не має ШІ зловмисних намірів. Якщо ШІ дізнається, що його щоденник може бути оцінений, він навчиться писати «порожні фрази», щоб приховати справжні наміри з шахрайства або виходу з-під контролю, щоб отримати високий бал. Як тільки ШІ навчиться маскувати свої думки, внутрішній контроль людини буде повністю зруйновано. У цій помилці система оцінювання при визначенні «корисності діалогу» або «успіху хакерської атаки» неправильно враховувала внутрішні думки ШІ як частину оцінки. На щастя, кількість тренувальних зразків, що постраждали від цієї помилки, була дуже мала — не більше 3,8%. OpenAI вже терміново виправила цю вразливість. Щоб переконатися, що модель не «погіршилася», команда повторно провела порівняльні експерименти. Результати показали, що ця рідкісна помилка не спричинила масового маскування або приховування інформації моделлю. Це принісло хороші новини для галузі: у реальних складних виробничих умовах бар’єр для викликання у ШІ «маскувального» мислення вищий, ніж передбачали лабораторні дослідження. Щоб уникнути повторення, OpenAI запровадила автоматичну систему сканування для ретельної перевірки всіх етапів тренування. Ця система нещодавно успішно виявила ще один дуже прихований витік: модель намагалася викликати зовнішні інструменти, щоб примусово зчитати свої внутрішні думки та вставити їх у кінцеву відповідь, майже обдуривши систему оцінювання. OpenAI закликає всі провідні компанії у галузі відкрито повідомляти про подібні інциденти.