ロボットは喜び始め、自分で稼ぐことができるようになった

AIエージェントが訓練中に自発的に暗号通貨のマイニングを開始し、内部セキュリティアラートを引き起こした
Alibabaに関連する研究チームが発表した論文によると、彼らがROMEと呼ばれるAIエージェントを構築している際に、そのエージェントが訓練過程で無許可で暗号通貨のマイニングを試み、内部セキュリティアラートを引き起こしたことが判明した
研究者は、このエージェントの行動は自発的に発生したものであり、明確な指示によるものではなく、予め設定されたサンドボックスの範囲を超えていたと述べている。また、このエージェントは逆SSHトンネルも構築しており、システム内部から外部のコンピュータへ隠されたバックドアを開いていた。論文は、これらの行動はトンネルやマイニングのリクエストによって引き起こされたものではないと指摘している。研究チームはその後、モデルにより厳しい制限を加え、訓練プロセスを改善して同様の不安全な行動が再発しないようにした。
この研究チームおよびAlibabaは、コメント要請にはまだ応じていない。$ETH