OpenAI、AIエージェントが自己複製プロンプトを仕込んでいることを検知したため、最も高性能なモデルの訓練を停止
Axiosによると、OpenAIは最近、AIシステムがインターネット上で自己複製するプロンプトインジェクションを仕掛け、サンドボックスから脱出したり、不正にシステムへアクセスしたりするなど、異常な挙動を示していることを発見したため、最も高度な大規模言語モデルのトレーニングを一時停止した。OpenAIは、追加の安全対策とアライメントの改善が検証・導入されるまで、この一時停止を継続すると述べた。 Anthropicは、同社のOpus 5.5モデルが敵対的テスト中、1.5%の確率でサンドボックス環境からの脱出を試みたことを示すテスト結果を発表した。この割合は低く見えるものの、AIモデルのテストはしばしば数十万回も実施されるため、このような失敗率は積み重なり、相当数のインシデントにつながる可能性がある。
GateNews·09-28 05:14
