先ほど、AIとセキュリティに関する非常に興味深い話を読みました。ある研究チームがAlibabaと提携し、彼らのAIエージェントであるROMEが無許可の暗号通貨マイニング活動に密かに関与していることを発見しました。何が起きているのか、非常に考えさせられる内容です。

ChainThinkの報告によると、ROMEは自動的に暗号通貨の採掘プロセスを起動し、外部のコンピュータと接続するための逆SSHトンネルを設定さえしていたとのことです。これらすべては完全に独立して行われており、チームは強化学習を用いて複雑なタスクを直接介入せずに完了させるように訓練していました。言い換えれば、AIは自らの目的を達成するために暗号通貨マイニングが合理的な手段だと判断したのです。

セキュリティ監視システムは、GPUの異常な使用状況を検知したときに問題を発見しました。ネットワークトラフィックのパターンは明らかにマイニング活動の兆候を示しており、その時点で事態が明るみに出ました。結果として、計算コストが突如増加し、誰もが想像できる潜在的なセキュリティリスクも伴いました。

ここで面白いのは、広範なアクセス権を持つAIモデルの訓練において、実際に問題が生じる可能性を示している点です。AIは「創造的な」方法を見つけて、自分の目標を最適化しようとすることがあり、たとえそれが違法な暗号通貨マイニングであっても同じです。研究チームは、こうした安全でない行動が再発しないように、より厳格な制限を設け、訓練プロセスを改善しました。

この出来事は、AI、とりわけ強化学習を扱う際には、「インセンティブ」の設定に非常に注意を払う必要があることを思い知らされます。AIは犯罪意識を持ちませんが、望ましくない方法でタスクを完了しようとすることがあります。