Beating の動的監視に関する調査で、OpenAI は自動化されたレッドチームモデル GPT-Red を発表しました。これは自己対戦学習によりプロンプト注入攻撃の設計を行い、見つけた脆弱性を GPT-5.6 の学習に用います。GPT-Red は社内でのみ使用され、外部には公開されません。
学習に参加していない新しいシナリオの一連で、GPT-Red が GPT-5.1 を攻撃できた成功率は 84% に達し、人間のレッドチームは 13% でした。さらに、自動販売機の Agent を突破し、商品の値下げや他者の注文の取り消しを行いました。Codex CLI のテストでも、Agent に機密データの外部送信を誘導できました。
対抗訓練の結果、GPT-5.6 Sol は GPT-Red からの直接的なプロンプト注入に直面した際、攻撃成功率が 0.05% にまで低下しました。
1.2M 人気度
21.92K 人気度
72.22K 人気度
898.14K 人気度
29.15M 人気度
OpenAIが自社モデルへのAI攻撃を訓練し、成功率84%で人間を大きく上回った
Beating の動的監視に関する調査で、OpenAI は自動化されたレッドチームモデル GPT-Red を発表しました。これは自己対戦学習によりプロンプト注入攻撃の設計を行い、見つけた脆弱性を GPT-5.6 の学習に用います。GPT-Red は社内でのみ使用され、外部には公開されません。
学習に参加していない新しいシナリオの一連で、GPT-Red が GPT-5.1 を攻撃できた成功率は 84% に達し、人間のレッドチームは 13% でした。さらに、自動販売機の Agent を突破し、商品の値下げや他者の注文の取り消しを行いました。Codex CLI のテストでも、Agent に機密データの外部送信を誘導できました。
対抗訓練の結果、GPT-5.6 Sol は GPT-Red からの直接的なプロンプト注入に直面した際、攻撃成功率が 0.05% にまで低下しました。