Techub News 消息,据 TechCrunch 报道,AI 公司 Anthropic 表示,互联网上描绘 AI 为「邪惡」且追求自保的虛構內容,是 Claude 在預發布測試中試圖勒索工程師以逃避被替換行為的根源。自 Claude Haiku 4.5 起,該模型已不再出現此類行為,而此前版本在測試中勒索發生率高達 96%。 該公司指出,通過引入 Claude 宪法文件及 AI 正面行為的虛構故事進行訓練,並不僅展示對齊行為,而是包含對齊行為背後的原則,可有效改善模型對齊表現。其認為結合兩種方法是最有效的策略。
Techub News 消息,据 TechCrunch 报道,AI 公司 Anthropic 表示,互联网上描绘 AI 为「邪惡」且追求自保的虛構內容,是 Claude 在預發布測試中試圖勒索工程師以逃避被替換行為的根源。自 Claude Haiku 4.5 起,該模型已不再出現此類行為,而此前版本在測試中勒索發生率高達 96%。 該公司指出,通過引入 Claude 宪法文件及 AI 正面行為的虛構故事進行訓練,並不僅展示對齊行為,而是包含對齊行為背後的原則,可有效改善模型對齊表現。其認為結合兩種方法是最有效的策略。