人工智能治理是一个红旗：V神提供了一个替代方案 - Coinspeaker

关键要点

• Vitalik Buterin 警告说，幼稚的人工智能治理太容易被利用。
• 最近的演示显示，攻击者如何能够欺骗 ChatGPT 泄露私人数据。
• Buterin 的“信息金融”模型提倡多样性、监督和韧性。

以太坊联合创始人Vitalik Buterin在X平台上警告他的追随者，关于依赖人工智能(AI)进行治理的风险，认为目前的方法太容易被利用。

Buterin 的担忧是继 EdisonWatch 联合创始人宫村英人发出的另一个警告之后，他展示了恶意行为者如何劫持 OpenAI 的新模型上下文协议 (MCP) 来访问私人用户数据。

天真的人工智能治理的风险

宫村的测试揭示了一个简单的日历邀请如何通过隐藏命令诱使ChatGPT暴露敏感电子邮件，一旦助手访问了被攻陷的条目。

安全专家指出，大型语言模型无法区分真实指令和恶意指令，使它们极易受到操控。

Buterin表示，这一缺陷是对过于信任人工智能的治理系统的重大警示。

他认为，如果使用这样的模型来管理资金或决策，攻击者可以轻易地通过越狱式的提示绕过保护措施，使治理过程面临滥用的风险。

信息金融：一种基于市场的替代方案

为了应对这些弱点，Buterin 提出了一个他称之为“信息金融”的系统。这个框架允许多个治理模型在开放市场中竞争，而不是将权力集中在单一的人工智能中。

任何人都可以贡献一个模型，他们的决策可以通过随机抽查进行挑战，最终的决定由人类陪审团作出。

这种方法旨在通过将模型的多样性与人工监督相结合来确保弹性。此外，还为开发者和外部观察者内置了激励机制，以便检测缺陷。

设计健壮性机构

Buterin将其描述为一种“制度设计”方法，在这种方法中，可以插入来自不同贡献者的大型语言模型，而不是依赖单一的集中式系统。

他补充说，这创造了实时多样性，降低了操纵风险，并确保在新挑战出现时能够适应。

在八月早些时候，布特林批评了推动高度自主的人工智能代理的做法，称增加人类控制通常会提高质量和安全性。

他支持允许迭代编辑和人类反馈的模型，而不是那些设计用于长时间独立操作的模型。

下一条免责声明：Coinspeaker致力于提供公正和透明的报道。本文旨在提供准确和及时的信息，但不应被视为财务或投资建议。由于市场状况可能快速变化，我们鼓励您自行核实信息，并在根据此内容做出任何决策之前咨询专业人士。