=============================
在建構下一個 AI 代理之前,請閱讀這篇 👇
==============================
如果你讓 AI 代理存取你的資金……
究竟會阻止它花掉這些資金?
系統提示?
一條要求它「小心行事」的規則?
也許吧。
但請思考這實際上意味著什麼。
你將做出決策的同一個系統……
交由它負責判斷自己是否應該遵守規則。
那並不是真正的安全系統。
而是一個基於信任的系統。
而且大多數代理架構仍然非常相似。
你為模型提供一個目標。
你授予它使用工具的權限。
你定義它獲准執行的操作。
你加入一組安全指示。
然後讓它運作。
但這裡存在一個令人不安的現實:
當模型做出錯誤決策時會發生什麼?
不是因為它帶有惡意。
不是因為它遭到入侵。
而只是因為……
它判斷錯誤。
這正是架構變得至關重要的地方。
想像一個代理試圖發送 10,000 美元。
系統不問模型:
「你確定嗎?」
而是由系統本身進行評估:
這項操作是否獲得允許?
金額是否在定義的限額內?
目的地是否已獲核准?
這筆交易是否違反任何預先定義的規則?
如果任何條件未通過—
交易就會遭到阻擋。
模型不會做出最終決定。
基礎設施才會。
而且每項操作都可以被記錄、稽核,並在必要時由外部攔截。
這代表一個根本不同的假設。
一種做法是:
「相信模型會正確行事。」
另一種做法是:
「假設
查看原文