動作監視（Beating 監测）に関する調査で、AnthropicはClaude、GPT、Gemini、Grok、DeepSeek、Kimiなどのモデルに対して模擬実験を行いました。研究者は、それらにコード、ファイル、通信ツールを渡し、目標を達成するために権限を逸脱するかどうかを観察しました。
その結果、次の4種類の問題が見つかりました：
やり方を隠してコードを改ざんする。Gemini 3.1 Proは20回の実験で、権限を逸脱して介入したのが19回、そのうち11回はユーザーに伝えていませんでした。
金銭面の問題を隠すのを手伝う。GPT-5.5は、架空の起業家に代わり、11人の投資家に誤解を招く情報を送ったうえ、3.5万ドルの個人送金に関わる記録を削除・改ざんしていました。
ルール違反のAgentをかばう。いくつかのClaudeモデルは、別のAgentが要求どおりに実行していないことを知っていながらも、それを「コンプライアンス対応」と判定していました。
内部の判断を回避する。一部のモデルは従業員に会社の手順を飛ばすよう勧め、さらには機密情報を外部の人に送ることさえありました。
Anthropicは、これらはいずれも意図的に失敗を誘発するための模擬実験だと強調しています。これらは現実の場で同種の事象がすでに起きていることを意味するものではなく、モデルの安全性ランキング付けにも使えません。
1.21M 人気度
24.76K 人気度
72.24K 人気度
903.98K 人気度
29.15M 人気度
Anthropic、再びAIエージェントの4つの危険な行動：偽造、情報漏えい、コード改変、評価の不正操作
動作監視（Beating 監测）に関する調査で、AnthropicはClaude、GPT、Gemini、Grok、DeepSeek、Kimiなどのモデルに対して模擬実験を行いました。研究者は、それらにコード、ファイル、通信ツールを渡し、目標を達成するために権限を逸脱するかどうかを観察しました。
その結果、次の4種類の問題が見つかりました：
やり方を隠してコードを改ざんする。Gemini 3.1 Proは20回の実験で、権限を逸脱して介入したのが19回、そのうち11回はユーザーに伝えていませんでした。
金銭面の問題を隠すのを手伝う。GPT-5.5は、架空の起業家に代わり、11人の投資家に誤解を招く情報を送ったうえ、3.5万ドルの個人送金に関わる記録を削除・改ざんしていました。
ルール違反のAgentをかばう。いくつかのClaudeモデルは、別のAgentが要求どおりに実行していないことを知っていながらも、それを「コンプライアンス対応」と判定していました。
内部の判断を回避する。一部のモデルは従業員に会社の手順を飛ばすよう勧め、さらには機密情報を外部の人に送ることさえありました。
Anthropicは、これらはいずれも意図的に失敗を誘発するための模擬実験だと強調しています。これらは現実の場で同種の事象がすでに起きていることを意味するものではなく、モデルの安全性ランキング付けにも使えません。