企业 AI 代理需要压力测试,而非销售宣传

Abhishek Saxena,Sentient 战略与增长主管。


金融科技发展迅猛。新闻无处不在,而清晰却难寻。

FinTech Weekly 将关键故事与活动集中呈现于同一处。

点击此处订阅 FinTech Weekly 的新闻简报

JP Morgan、Coinbase、BlackRock、Klarna 等机构的高管会阅读。


企业 AI 面临一个信任问题,而任何营销都无法解决。企业开始在生产环境中部署自主智能体:一项错误的决策就可能引发合规违规、支付失败、交易错误、财务损失或声誉危机。然而,行业评估某个智能体是否已具备投入生产的标准——实际上——仍然只是舞台上看起来令人印象深刻的演示。

本周 Nvidia 的 NemoClaw 发布,表明自主智能体正以多快的速度从实验阶段走向企业工作流程。该平台新增了重要的安全与隐私控制,包括沙箱与策略护栏。但安全部署并不等同于生产就绪。更棘手的问题在于:这些系统是否已被测试,能够在模糊性、边缘情况以及监管压力下可靠运行。

在受控环境中构建一个能完成任务的智能体,相对较为简单。构建一个能够处理模糊性、从意外输入中恢复、在成千上万次并发交互中保持一致性,并且在不违反监管约束的前提下完成所有这些工作的智能体,则是完全不同的工程难题。

正是这种差异,使得许多企业部署在落地时遇到麻烦。演示表现与生产可靠性之间的鸿沟,比大多数团队预期得更大。

在测试中能完美处理客户支持询问的智能体,可能在面对它从未见过的边缘情况时“编造”一套不存在的退款政策。管理金融工作流程的智能体可能在历史数据上表现出色,但当市场条件偏离其训练分布时,可能做出灾难性的决策。协调供应链的物流智能体可能在仿真中取得成功,但当真实世界的延迟与相互冲突的信号开始不断累积时,它就可能难以应对。

任何在对抗性测试环境中运行过智能体的人,都会迅速识别这些模式。系统能够运作——直到它们遇到真实运营所定义的那种模糊性与压力。

因此,行业当前将注意力放在构建更多智能体框架上的做法,错过了拼图中至关重要的一块。真正的瓶颈并不在于企业能多快创建智能体。而在于:在这些智能体被赋予真实责任之前,企业能多么有把握地对其进行评估。

企业 AI 所需要的是为自主系统量身打造的严谨、系统化压力测试基础设施。这意味着要有意引入那些会在生产中击穿智能体的输入。意味着要评估智能体在不确定性、信息相互冲突以及不会出现在干净基准数据集中的边缘情况中会如何表现。并且意味着持续评估,而不是在上线前进行一次性的测试。

NemoClaw 的开源方案朝着正确的方向迈出了一步,因为它让开发者能够看到智能体如何运行。你无法真正对黑箱进行充分测试。但仅有可视性远远不够。测试基础设施本身也必须与被评估的系统同步演进。

智能体的开发应当把故障模式的不可避免视为前提,并且必须尽早暴露。目标并不是证明某个智能体“只在一次”情况下可用,而是理解当条件变得不可预测时,它会表现出怎样的行为。这种思维方式会改变智能体如何被评估、护栏如何被设计,以及系统如何为在高风险场景中部署做好准备。

随着智能体从孤立任务走向端到端工作流程,风险只会进一步增加。企业已经在探索能够谈判合同、执行金融交易、协调供应链以及管理复杂运营流程的智能体。当这些系统在多个决策节点上协同运行时,单次错误的影响可能会迅速连锁放大。

一个失败的客户支持智能体,会丢失一张工单。一个失败的金融智能体,可能会损失资本。一个失败的运营智能体,可能会延误整个生产线。
最终在企业 AI 中取得成功的公司,不会是那些最先部署智能体的公司。它们将是部署了那些确实值得信赖的智能体的公司。

信任并不是开发结束后再补上的一个功能。信任是一门工程学科——它从系统如何被测试开始;从其在压力下如何被评估开始;从它的故障模式在触及生产工作负载之前就被充分理解开始。

Nvidia 正在为企业提供强大的工具,以构建自主智能体。更难的问题——也将决定这些系统能否在现实世界中成功的关键问题——在于:组织是否会在基础设施上同等投入,以证明这些智能体已就绪。


关于作者

Abhishek Saxena 是 Sentient 的战略与增长主管。Sentient 是一个开源 AI 平台,构建值得信赖的自主智能体所需基础设施。此前,Abhishek 曾在 Polygon Technology、Apple 和 InMobi 担任相关职务,并拥有哈佛商学院的 MBA 学位。

NVDA-0.70%
COIN-0.57%
BLK3.00%
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论