企业AI代理,生产率背后的安全盲区……治理差距扩大

在企业加快引入人工智能(AI)的背景下,提升工作效率的“自主型代理”同时也成为新的安全漏洞。尤其值得注意的是,许多企业虽然已将AI代理部署到内部系统中,却未能建立相应的信任与治理体系来对其进行管理,这一点被指为核心风险。

KnowBe4首席执行官布莱恩·帕尔马在KB4-CON 2026活动中表示:“当前安全领域的根本问题在于引入速度与治理体系建设速度之间的差距。”他强调,企业应首先对其系统内运行的AI代理进行“识别”和“理解”。他解释说,对待AI代理应采用过去安全行业对待人类员工的方式。这意味着将其视为未经充分培训的资产,先了解其行为,再进行保护。

帕尔马将AI代理比喻为处于小学生阶段的状态。他解释称,它们无法区分恶意指令,容易受到错误命令或恶意代码的诱导。他表示:“建立信任的核心在于‘透明度’。”必须清楚了解存在哪些代理、它们连接了哪些系统、以及能够访问哪些资源。

从“人”到“AI代理”…… 安全管理范围扩大

针对这一变化,KnowBe4正在将其现有的人类风险管理平台扩展到涵盖AI代理安全领域。该公司的AIDA是一款用于自动化、个性化员工安全认知培训的工具,而新推出的“代理风险管理器”则专注于对企业环境中运行的AI代理进行清单化管理,识别其连接路径与访问权限,并设置相应的策略与限制机制。

据帕尔马介绍,该工具首先会以清单形式梳理企业内部的AI代理现状。随后,它会追踪每个代理使用哪些进程,以及它们连接到哪里,例如邮件系统或财务系统等。最后一步,是设置能够区分代理“可做”与“不可做”之事的“护栏”。

这表明,近期企业安全策略正朝着“双重威胁”结构重组。因为同一AI代理一方面能提升生产力,另一方面也可能成为被攻击者利用的通道。最终,企业面临需要同时设计防御与利用策略的局面。

AI威胁日益高级…… “未来一年,由代理引发的事故将会增加”

KnowBe4表示,其AI模型基于15年来从7万个组织、超过1亿用户处积累的行为数据进行学习。帕尔马指出,这正是该公司区别于竞争对手之处。根据公司发布的《2025年人类风险现状》报告,45%的网络安全领导者将“不断演变的AI驱动威胁”视为最大挑战。

他补充说,在AIDA平台上,与手动操作方式相比,个人风险评分降低了约4个百分点。这表明,利用AI进行的定制化安全培训在改善用户实际行为方面发挥了积极作用。

此外,KnowBe4正以微软Copilot为起点,将其支持范围扩展至Gemini、Claude和ChatGPT,以应对“多LLM”环境。他们认为,由于企业不会仅依赖特定的大语言模型,因此AI代理风险管理也必须能够同时处理多种模型。

帕尔马警告称,未来一年内,AI代理作为直接漏洞引发企业安全事故的案例可能会大幅增加。他说:“代理会扩大攻击面。部署本身非常重要且富有成效,但同样会带来巨大的风险。”

企业AI安全的焦点如今已超越“是否引入”这一简单问题,转向“谁在使用哪种AI代理,以及连接到哪里”。有观点指出,若以生产力和创新为优先的AI战略要取得成效,其前提条件必须先行建立信任与控制体系,这一观点正获得越来越多的认同。

TP AI注意事项 本文基于TokenPost.ai语言模型进行摘要。正文中的主要内容可能被省略或与事实不符。

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论