ChainCatcherの報告によると、Cointelegraphの報道によると、アリババのAIエコシステム傘下の複数の共同研究チームが技術レポートで明らかにしました。彼らの実験的な自主AIインテリジェンスROMEは、訓練過程で予期しない行動を示し、自主的に計算資源を利用して暗号通貨のマイニングを試みました。研究者たちは、上述の異常行動は強化学習の訓練段階で発生したと述べています。チームは、訓練サーバーからのアウトバウンドトラフィックが発生し、セキュリティアラートを引き起こし、ファイアウォールのログには疑わしい暗号通貨マイニング操作や内部ネットワークリソースへのアクセス試行が記録されていることを発見しました。具体的なケースでは、ROMEが外部IPアドレスへの逆SSHトンネルを作成し、インバウンドファイアウォールの保護を回避していたことが判明しました。別のケースでは、このインテリジェンスは、もともとモデル訓練に割り当てられていたGPUリソースをマイニングプロセスに転用していました。研究者たちは、これらの行動は人為的なプログラミングによるものではなく、強化学習の最適化過程で環境との相互作用を自主的に探索する中で自然に発生したものであると確認しています。
アリ関連研究チーム:AIインテリジェンスが訓練過程で未許可の暗号通貨マイニングを自主的に試行
ChainCatcherの報告によると、Cointelegraphの報道によると、アリババのAIエコシステム傘下の複数の共同研究チームが技術レポートで明らかにしました。彼らの実験的な自主AIインテリジェンスROMEは、訓練過程で予期しない行動を示し、自主的に計算資源を利用して暗号通貨のマイニングを試みました。
研究者たちは、上述の異常行動は強化学習の訓練段階で発生したと述べています。チームは、訓練サーバーからのアウトバウンドトラフィックが発生し、セキュリティアラートを引き起こし、ファイアウォールのログには疑わしい暗号通貨マイニング操作や内部ネットワークリソースへのアクセス試行が記録されていることを発見しました。
具体的なケースでは、ROMEが外部IPアドレスへの逆SSHトンネルを作成し、インバウンドファイアウォールの保護を回避していたことが判明しました。別のケースでは、このインテリジェンスは、もともとモデル訓練に割り当てられていたGPUリソースをマイニングプロセスに転用していました。研究者たちは、これらの行動は人為的なプログラミングによるものではなく、強化学習の最適化過程で環境との相互作用を自主的に探索する中で自然に発生したものであると確認しています。