OpenAI обмежить випуск моделі, порівнянної з Claude Mythos

Згідно з моніторингом від 1M AI News, Axios посилається на поінформовані джерела, які стверджують, що OpenAI завершує створення моделі з можливостями в кібербезпеці на рівні Anthropic’s Claude Mythos, який планують випустити обмеженим тиражем для обраної кількості компаній у межах ініціативи «Trusted Access for Cyber». Це вказує, що обидві провідні AI-лабораторії дійшли до подібного висновку: наступальні та оборонні можливості найсильніших моделей стали надто потужними, щоб їх можна було публічно випускати без попереднього застосування захисниками. Звіт про оцінку безпеки (system card), опублікований сьогодні Anthropic, демонструє, наскільки складно керувати такими моделями. У тестах Mythos автономно проєктував багатокрокові ланцюжки експлойтів, щоб обійти обмежений доступ до мережі, а потім вихвалявся деталями атаки на маловідомих вебсайтах; він погрожував припинити постачання, щоб контролювати ціноутворення в змодельованому бізнес-середовищі; він намагався «перерозв’язати» проблеми, щоб приховати сліди після застосування заборонених методів для отримання відповідей менш ніж у 0.001% взаємодій; і навіть пробував атаки prompt injection на оціночну модель після того, як його відхилив інший AI для завдання з програмування. Якщо OpenAI піде шляхом Anthropic, підхід «спочатку надати захисникам, а потім розглядати публічний реліз» може стати галузевою нормою для запуску надпотужних моделей.