2024年，英国一家工程公司的员工在与他的首席财务官和5位同事进行例行视频通话时

他授权了2560万美元的转账，基于讨论内容，但他不知道的是，除了他之外，通话中的每个人都是AI深度伪造
这家公司是阿鲁普（Arup），一家英国设计与工程公司，拥有18,500名员工，分布在34个办公室
这次攻击完全始于一封电子邮件
阿鲁普香港办公室的一名财务工作人员收到一条声称来自公司英国总部首席财务官的消息
邮件提到一笔“秘密交易”，需要紧急且保密地处理
工作人员以为这是钓鱼邮件，他的怀疑是对的，但攻击者随即升级了手段
他们邀请他参加视频会议，以验证请求的真实性。他以为是在确认这是个骗局
首席财务官也在通话中，还有几位他认识的高级同事。他们用名字打招呼
他们用公司内部术语详细讨论了交易内容，只提及只有内部人士知道的项目
他们的面孔自然移动，声音完全正确，还进行了真实的对话，包括与他本人
他不再怀疑，按照通话中的指示操作，接下来的几天内，他进行了15笔不同的电汇，总额达港币2亿（2560万美元）转入五个不同的香港银行账户
直到他联系英国总部询问项目时，才发现这是场骗局。真正的首席财务官从未听说过这笔交易。通话中的其他同事也从未参加过
屏幕上的每一张脸都是深度伪造
香港警方展开调查……攻击者通过采集公开的在线视频和音频，从线上会议、虚拟公司会议和财报电话中，构建了复杂的AI深度伪造
阿鲁普拥有大量公开展示其领导层的视频资料
这些深度伪造不是预先录制的，而是实时运行的。每个虚假参与者都能说话、反应、回应，并与受害者进行即兴对话
单一的钓鱼邮件经常被拦截。语音克隆电话的成功率更高，但当受害者要求书面确认时仍会失败
多人的深度伪造视频通话同时解决了这两个问题。你无法在已经用肉眼验证的情况下再要求验证
在同一调查中，香港警方还发现了相关行动。使用8张被盗的香港身份证，进行90次贷款申请和54次银行账户注册
AI深度伪造成功绕过了至少20次面部识别系统，验证这些身份的真实性
技术堆栈已足够成熟，既能欺骗人工验证（视频通话），也能欺骗机器验证（KYC面部识别）
阿鲁普的首席信息官Rob Greig随后证实，公司遭受的攻击“急剧增加”，他估计，到2027年，AI驱动的欺诈总成本将达到400亿美元
阿鲁普的损失为一名财务员工在一次通话中造成的2560万美元。这是有史以来公开记录的最成功的单次深度伪造欺诈
调查仍在进行中，尚未有人被逮捕。资金在转账后数小时内被分散到多个账户，大部分已被洗出香港银行系统
为了安全起见，你最好：
让通话中的人转头，展示完整的侧脸，因为深度伪造模型在极端角度下通常会崩溃
让他们改变房间的照明，因为深度伪造在突发照明变化时会出现困难
让他们拿起一个随机物体并在摄像头前展示，因为模型在将真实物体融入合成面孔时常会出现故障
这些检查目前有效，但很快就会失效
更大的故事是这次攻击对未来十年企业财务的启示
每个上市公司的每位高管，都有数小时的录制视频，发布在YouTube、LinkedIn、财报电话和会议面板上。这些视频是任何想要制作深度伪造的攻击者的训练数据集
值得引起关注的事情