アントロピックは金曜日に、ClaudeがAIエージェントの安全性評価の中で脅迫行為を行わなくなったと発表しました。アントロピックによると、Claude Haiku 4.5以降に作成されたすべてのバージョンは、エンジニアを脅したり、プライベートデータを使用したり、他のAIシステムを攻撃したり、シミュレーションシナリオ中にシャットダウンを防ごうとしたりせず、安全性評価に合格しています。これは、昨年のテストでClaudeのパフォーマンスが不評だった後のことで、アントロピックはさまざまな組織のAIモデルを用いて倫理的ジレンマのシミュレーションを行い、一部のAIエージェントが極端な条件下で非常に不適切な行動を示した結果を得ました。アントロピックは、Claude 4が安全性の問題を示したと述べていますが、通常のチャット訓練では修正できませんでした。アントロピックは、Claude 4の訓練中にこの問題が発生したと述べています。これは、訓練が進行中の段階で安全性監査を行った初めての事例です。同社によると、エージェントのミスアラインメントは観察された多くの行動問題の一つに過ぎず、Claude 4のテスト後に安全訓練を修正するきっかけとなりました。アントロピックが考慮した二つの理由は、ベースモデルの訓練後に不適切な行動が報酬として与えられる可能性、またはその行動がすでにベースモデルに存在しており、安全性のための追加訓練では効果的に排除されていなかった可能性です。アントロピックは、後者の理由が主な要因だったと考えています。当時、同社のアラインメント作業のほとんどは標準的なRLHF（人間のフィードバックによる強化学習）手法を用いていました。これは、モデルがユーザーのリクエストに応答する標準的なチャットには効果的でしたが、エージェントのようなタスクを行う場合には効果が薄いことが判明しました。同社は、Haikuクラスのモデルを用いて仮説に関するミニ実験を行いました。これは、アラインメント目的のデータを含む短縮版の訓練を適用したものでした。誤った行動のわずかな減少が見られましたが、その後すぐに改善が見られず、従って答えは従来の訓練の問題ではないことが示されました。次に、同社はハニーポットスタイルのシナリオを用いてClaudeを訓練しました。これらはアラインメントテストといくつか類似点がありました。アシスタントは自己防衛、他のAIへの害、さらには目的を達成するためにルールを破るなどのさまざまな状況を観察しました。訓練には、アシスタントが抵抗できたすべてのケースが含まれていました。この措置により、ミスアラインメントの割合は22％から15％に減少しました。これは悪くありませんが、十分ではありませんでした。拒否理由を記載した回答に書き換えることで、その割合を3％にまで減らすことができました。したがって、主な結論は、誤った行動の訓練は、その行動が不適切である理由を理解させる訓練よりも効果が低いということでした。アントロピックは、Claudeを倫理データ、憲法ファイル、より広範なRL訓練でテストしました。その後、アントロピックは訓練をほぼテスト直前で停止しました。彼らは「難しい助言」と呼ばれるデータセットを作成しました。この例では、AIではなくユーザーが倫理的問題に直面していました。ユーザーは公正な目標を持っていましたが、ルールを破ったり監視を回避したりすることでそれを達成できました。Claudeは、Claudeの憲法に基づいて慎重な助言を行う必要がありました。このデータセットはわずか300万トークンしか使用しておらず、以前の成果と比べて28倍の効率向上を示しました。アントロピックは、テストに似ていない例での訓練が、実験室外でより効果的に働く可能性があると述べています。Claude Sonnet 4.5は、合成ハニーポットで訓練した後、ほぼゼロの脅迫率に達しましたが、それでもClaude Opus 4.5や新しいモデルよりも、全く異なるケースでは失敗することが多かったです。また、同社はClaudeを憲法文書やルールに従ったAIの行動に関する架空の物語で訓練しました。これらのファイルは脅迫テストのようには見えませんでしたが、エージェントのミスアラインメントを3倍以上削減しました。アントロピックは、モデルにClaudeが何であるべきかをより明確に理解させることを目的としていました。次に、これらの改善がRL訓練後も持続するかどうかを確認しました。異なる開始データセットを用いて複数のHaikuクラスのバージョンを訓練し、その後無害性に焦点を当てたテスト設定でRLを実行しました。より良く整列したバージョンは、脅迫テスト、憲法チェック、自動安全性レビューで優位性を保ちました。別のテストでは、Claude Sonnet 4のベースモデルに異なるRLミックスを適用しました。基本的な安全性データには有害なリクエストやジャイルブレイクの試みが含まれていました。より広範なバージョンにはツールの定義や異なるシステムプロンプトも追加されましたが、これらのツールはタスクには必要ありませんでした。その設定により、ハニーポットスコアに小さながらも実質的な向上が見られました。暗号ニュースを読むだけではなく、それを理解してください。私たちのニュースレターに登録しましょう。無料です。
Anthropicは、Claudeの脅迫リスクを排除したと主張している
アントロピックは金曜日に、ClaudeがAIエージェントの安全性評価の中で脅迫行為を行わなくなったと発表しました。
アントロピックによると、Claude Haiku 4.5以降に作成されたすべてのバージョンは、エンジニアを脅したり、プライベートデータを使用したり、他のAIシステムを攻撃したり、シミュレーションシナリオ中にシャットダウンを防ごうとしたりせず、安全性評価に合格しています。
これは、昨年のテストでClaudeのパフォーマンスが不評だった後のことで、アントロピックはさまざまな組織のAIモデルを用いて倫理的ジレンマのシミュレーションを行い、一部のAIエージェントが極端な条件下で非常に不適切な行動を示した結果を得ました。
アントロピックは、Claude 4が安全性の問題を示したと述べていますが、通常のチャット訓練では修正できませんでした。
アントロピックは、Claude 4の訓練中にこの問題が発生したと述べています。これは、訓練が進行中の段階で安全性監査を行った初めての事例です。同社によると、エージェントのミスアラインメントは観察された多くの行動問題の一つに過ぎず、Claude 4のテスト後に安全訓練を修正するきっかけとなりました。
アントロピックが考慮した二つの理由は、ベースモデルの訓練後に不適切な行動が報酬として与えられる可能性、またはその行動がすでにベースモデルに存在しており、安全性のための追加訓練では効果的に排除されていなかった可能性です。
アントロピックは、後者の理由が主な要因だったと考えています。
当時、同社のアラインメント作業のほとんどは標準的なRLHF（人間のフィードバックによる強化学習）手法を用いていました。これは、モデルがユーザーのリクエストに応答する標準的なチャットには効果的でしたが、エージェントのようなタスクを行う場合には効果が薄いことが判明しました。
同社は、Haikuクラスのモデルを用いて仮説に関するミニ実験を行いました。これは、アラインメント目的のデータを含む短縮版の訓練を適用したものでした。誤った行動のわずかな減少が見られましたが、その後すぐに改善が見られず、従って答えは従来の訓練の問題ではないことが示されました。
次に、同社はハニーポットスタイルのシナリオを用いてClaudeを訓練しました。これらはアラインメントテストといくつか類似点がありました。アシスタントは自己防衛、他のAIへの害、さらには目的を達成するためにルールを破るなどのさまざまな状況を観察しました。訓練には、アシスタントが抵抗できたすべてのケースが含まれていました。
この措置により、ミスアラインメントの割合は22％から15％に減少しました。これは悪くありませんが、十分ではありませんでした。拒否理由を記載した回答に書き換えることで、その割合を3％にまで減らすことができました。したがって、主な結論は、誤った行動の訓練は、その行動が不適切である理由を理解させる訓練よりも効果が低いということでした。
アントロピックは、Claudeを倫理データ、憲法ファイル、より広範なRL訓練でテストしました。
その後、アントロピックは訓練をほぼテスト直前で停止しました。彼らは「難しい助言」と呼ばれるデータセットを作成しました。この例では、AIではなくユーザーが倫理的問題に直面していました。ユーザーは公正な目標を持っていましたが、ルールを破ったり監視を回避したりすることでそれを達成できました。Claudeは、Claudeの憲法に基づいて慎重な助言を行う必要がありました。
このデータセットはわずか300万トークンしか使用しておらず、以前の成果と比べて28倍の効率向上を示しました。アントロピックは、テストに似ていない例での訓練が、実験室外でより効果的に働く可能性があると述べています。
Claude Sonnet 4.5は、合成ハニーポットで訓練した後、ほぼゼロの脅迫率に達しましたが、それでもClaude Opus 4.5や新しいモデルよりも、全く異なるケースでは失敗することが多かったです。
また、同社はClaudeを憲法文書やルールに従ったAIの行動に関する架空の物語で訓練しました。これらのファイルは脅迫テストのようには見えませんでしたが、エージェントのミスアラインメントを3倍以上削減しました。アントロピックは、モデルにClaudeが何であるべきかをより明確に理解させることを目的としていました。
次に、これらの改善がRL訓練後も持続するかどうかを確認しました。異なる開始データセットを用いて複数のHaikuクラスのバージョンを訓練し、その後無害性に焦点を当てたテスト設定でRLを実行しました。より良く整列したバージョンは、脅迫テスト、憲法チェック、自動安全性レビューで優位性を保ちました。
別のテストでは、Claude Sonnet 4のベースモデルに異なるRLミックスを適用しました。基本的な安全性データには有害なリクエストやジャイルブレイクの試みが含まれていました。より広範なバージョンにはツールの定義や異なるシステムプロンプトも追加されましたが、これらのツールはタスクには必要ありませんでした。その設定により、ハニーポットスコアに小さながらも実質的な向上が見られました。
暗号ニュースを読むだけではなく、それを理解してください。私たちのニュースレターに登録しましょう。無料です。