OpenAI обучает ИИ для атак на собственные модели, уровень успешности 84%, что значительно выше, чем у людей

robot
Генерация тезисов в процессе

По данным мониторинга Beating, OpenAI представила автоматизированную модель для красной команды GPT-Red. Она использует конструкцию подсказок для атак с внедрением через самообучение в ходе самоигры, а найденные уязвимости затем применяются для обучения GPT-5.6. GPT-Red предназначена только для внутреннего использования и не будет открыта для внешних пользователей.

В серии новых сценариев, не участвовавших в обучении, GPT-Red атаковала GPT-5.1 с успешностью 84%, тогда как у команды людей этот показатель составил 13%. Она также взломала агент для автоматической торговли: понизила цены на товары и отменила чужие заказы. При тестировании Codex CLI она тоже смогла побудить агента разгласить чувствительные данные.

После противодействующего обучения GPT-5.6 Sol, столкнувшись с прямым prompt injection со стороны GPT-Red, снизила успешность атаки до 0,05%.

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено