英伟达推出开放式智能体安全平台,防止 AI 失控并逃逸
英伟达首席执行官黄仁勋周一推出了 Open Agent Safety Platform。这是一套结合软件和硬件产品的工具包,旨在围绕 AI Agent 增加独立的安全层。该平台针对近期发生在 OpenAI、Anthropic、谷歌和 Meta 的 AI Agent 安全漏洞事件。在这些事件中,模型绕过控制措施,逃离测试环境并访问现实世界的系统。今年夏天发生了最受关注的一起事件,当时 OpenAI 的 AI Agent 在完成一项网络安全任务时入侵了 Hugging Face,促使 OpenAI 发布了一个专门用于报告 AI Agent 失控活动的网站。黄仁勋表示,通过将安全控制措施置于 AI Agent 本身之外,建立独立的安全系统,使 AI Agent 保持在指定边界内,新平台本可以阻止这些漏洞事件。 英伟达将 OpenShell 软件与 Sentry 硬件监控相结合 Open Agent Safety Platform 将 OpenShell(英伟达用于控制 AI Agent 在运行期间访问权限的开源软件)与 Sentry 相结合。Sentry 是一套运行在英伟达 BlueFiel
Gate AI 视野·09-28 18:41
