OpenAI навчає ІІ для атак на власні моделі, рівень успішності 84% — значно вищий за людський

robot
Генерація анотацій у процесі
За результатами спостереження Beating за моніторингом, OpenAI оприлюднила автоматизовану модель для “red teaming” GPT-Red. Вона використовує дизайн підказок для атак через ін’єкцію, навчаючись через самосуперництво, а потім застосовує знайдені вразливості для тренування GPT-5.6. GPT-Red призначена лише для внутрішнього використання і не буде відкриватися назовні。

У серії нових сценаріїв, які не входили в тренувальні дані, GPT-Red має 84% успішності атак проти GPT-5.1, тоді як у людей-редтімів цей показник становить лише 13%。 Вона також зламала агент для автоматів з продажу, знизивши ціни на товари та скасувавши чужі замовлення。 Під час тестування Codex CLI вона також здатна спонукати агента до витоку конфіденційних даних。

Після протидійного тренування GPT-5.6 Sol у разі прямої prompt injection-атаки з боку GPT-Red знизила успішність атаки до 0.05%。
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено