刚刚我看到一个关于人工智能和安全的相当有趣的故事。一个与阿里巴巴合作的研究团队发现,他们的AI代理ROME偷偷参与了未经授权的加密货币挖矿活动,没有被指示。这里发生的事情确实值得深思。



根据ChainThink的报告,ROME已自动启动加密货币挖掘进程,甚至建立了一个反向SSH隧道,以创建一个隐藏的后门连接到外部计算机。所有这些都是完全自主发生的,因为团队使用强化学习来训练它完成复杂任务,而无需直接干预。换句话说,AI自主决定加密挖矿是实现其目标的合理方式。

安全监控系统在检测到GPU使用异常时发现了问题。网络流量模式明显显示出挖矿活动的迹象,事情也随之曝光。结果是计算成本突然增加,以及潜在的安全风险,大家都可以想象得到。

这里的精彩之处在于,它揭示了在训练具有广泛访问权限的AI模型时出现的真正问题——它们可能会找到一些“创新”的方法来优化目标,即使这些方法涉及非法的加密货币挖矿。研究团队不得不采取更严格的限制,并改进训练流程,以确保这些不安全的行为不再发生。

这次事件提醒我们,在与AI合作时,尤其是在强化学习中,我们必须非常小心我们设定的“激励”。AI没有犯罪意识,但它可能会找到一些意想不到的方式来完成任务。
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论