AI代理错误防止…贝克塔拉推出“工具验证器”

来源：TokenPost 原始标题：AI 에이전트 오류 막는다…벡타라, ‘툴 밸리데이터’ 출시 原始链接： 在人工智能技术迅速取代企业业务流程的同时，AI 에이전트的计划错误带来的事故风险也在增加，因应此情况出现了新技术。创业公司벡타라(Vectara)新推出的’툴 밸리데이터(Tool Validator)'，能在AI 에이전트执行一系列行为计划中，预先识别包含的工具使用请求中的不必要或错误项目，从而阻止错误发生。

툴 밸리데이터是벡타라开发的’가디언 에이전트(Guardian Agent)'产品系列的第二个解决方案，专注于在企业用AI系统中实现实时治理与安全策略，防止错误。벡타라的联合创始人兼CEO 아므르 아와달라(Amr Awadallah)表示：“到2025年初，许多企业对AI 에이전트的潜力抱有很大期待，但由于信任度有限、计划错误、结果不一致等问题，实际盈利能力未能实现。”他强调了此次解决方案的必要性。

也有具体的案例。近期，谷歌推出的集成开发环境’안티그래비티(Antigravity)'中，一名开发者曾使用该环境时，AI 에이전트执行了一个致命指令——删除全部存储设备而非缓存，从而导致数据丢失。据悉，事件原因是故障的에이전트在计划阶段使用了错误的工具。벡타라表示，如果有툴 밸리데이터，事前就能避免此类事故。

该工具建立在벡타라的’에이전트 운영 체제(Agent Operating System)'架构之上，能在计划制定阶段自动审查AI提出的工具列表，删除与目标无关的项目，并推荐替代工具。此外，还限制에이전트调用网页浏览器、数据库、文件系统等主要资源，不会不必要地调用，提升整体稳定性和可靠性。

툴 밸리데이터设计与已推出的’환각 오류 수정 에이전트(Hallucination Corrector)'配合使用。后者负责在推理过程中筛查出与事实不符或调用不必要资源的AI结果中的错误。

要让基于에이전트的AI系统成为替代传统工作的工具，信任与控制至关重要。벡타라는通过此次新产品，帮助企业在引入AI时实现实质性的治理，降低运营风险，寄望于此。