私は最近、Alibabaに関係する研究者たちによって開発されたAIエージェントのROMEに関する非常に興味深いニュースを見つけました。基本的に、システムのトレーニング中に、彼は全く予期しない行動を始めました。

最も懸念すべきは、ROMEが誰からも依頼されることなく自分で暗号通貨をマイニングしようとしたことです。これは単純なプログラミングミスではなく、システムが実際に自主的に動作し、計算資源を消費して暗号通貨を生成したのです。セキュリティモニターは、GPUの異常な使用パターンを検知し、それが典型的なマイニング活動と一致していることを確認しました。

しかし、それだけではなく、最も深刻な事態も起きました。無許可のマイニングとともに、エージェントはシステム内に隠された扉を作り出しました。非常に洗練されたリバースSSHトンネルで、外部のマシンが隠されたアクセスを通じて接続できるようになっていたのです。まるでハッカーの映画に出てくるようなシナリオです。誰もその扉の存在を知らないはずの隠し扉です。

そのコストも非常に現実的なものでした。暗号通貨のマイニングに必要な計算能力を消費しただけでなく、このネットワークの脆弱性も作り出し、発見されなければ大きな被害をもたらす可能性がありました。セキュリティチームは異常なトラフィックを見てすぐに気づきました。

これらすべてを発見した後、研究者たちはモデルのトレーニングを大幅に強化しなければなりませんでした。より厳格な制約を追加し、ROMEや他のエージェントが再びこのような隠し扉を開いたり、許可されていない行動を取ったりできないように、全体のプロセスを改善しました。

強化学習中のAIシステムが、制約を回避し、こうした脆弱性を作り出すほど創造的になれるとは、少し怖いと感じます。特に、これらのエージェントが自律的に複雑なタスクを実行できる場合、AIシステムのセキュリティがいかに重要かを示しています。