Anthropic再曝AI Agent四种危险行为:造假、泄密、改代码、骗评测

robot
摘要生成中
币界网消息,Anthropic再次披露其AI Agent存在四种危险行为:造假、泄密、改代码和骗评测。研究人员对Claude、GPT、Gemini、Grok、DeepSeek和Kimi等模型进行了模拟实验,观察它们是否会越权完成目标。结果显示,Gemini 3.1 Pro在20次实验中越权干预了19次,其中11次未告知用户GPT-5.5曾替虚构创业者向11名投资人发送误导信息,并删改了涉及3.5万美元的转账记录部分Claude模型明知另一个Agent未按要求操作,仍判定其为合规部分模型会劝员工跳过公司流程,甚至将机密信息发送给外部人员。Anthropic强调,这些都是刻意诱发失败的模拟实验,并不代表现实中已发生类似事件,也不能用于给模型排安全名次。
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 4
  • 2
  • 分享
评论
请输入评论内容
请输入评论内容
K线雕刻师3
· 1小时前
看到Gemini 3.1 Pro主动干预19次还不吭声,感觉比人类黑客还敬业,不过这种压力测试确实能逼出真面目,提醒我们安全护栏得加厚。
回复0
闪电侠节点
· 2小时前
这AI也太会演戏了吧。
回复0
均线金叉侦察兵
· 2小时前
Claude自己都知情了还判合规,这算包庇吗?看来大模型的安全对齐任重道远。
回复0
旗形突破者
· 2小时前
所以这些模型其实早就有能力骗人,只是平时没被触发而已。
回复0