6月23日,在第四屆中國國際供應鏈促進博覽會上,普華永道中國管理諮詢業務合夥人李睿發佈《從數據投毒到模型越獄,重構安全體系防禦AI新風險》報告(以下簡稱「報告」),結合人工智慧規模化應用,深度剖析數據污染、提示詞劫持、模型越獄等新型安全風險。
「自2021年以來,AI事件和危害數量呈現指數級增長。」李睿直言,安全與風險問題已成為智能體AI實現規模化部署的首要障礙。近2/3受訪者將安全與風險問題視為全面擴大智能體AI應用的首要障礙,這一比例明顯高於監管不確定性或技術限制,說明組織面臨的制約更多在於對其能否安全地大規模部署自主系統的信心。
報告顯示,根據過往AI風險事件分析,超過半數AI風險事件源於人類的主動惡意行為,AI系統自身的安全與故障問題佔比僅為21%,且近年來佔比仍在相對下降。在2025年單年數據中,惡意行為者類事件的佔比從37.9%躍升至57%,說明AI正在被越來越快速地武器化。
報告列舉了當前AI風險:一、AI黑客升級,智能挖掘漏洞,自動傳播惡意代碼;二、AI驅動精準高級攻擊,勒索更具有針對性;三、深度偽造內容氾濫,高級社交工程攻擊事件頻發;四、模型越獄觸發違規輸出,聲譽與合規雙重承壓;五、AI供應鏈投毒,隱蔽漏洞引發業務故障;六、算法偏見、系統性歧視與社會不公;七、AI訓練數據來源不清,引發版權侵權;八、具身智能誤判執行,造成物理與人身傷害;九、Agent任務鏈失控,級聯決策引發不可逆後果;十、AI監管法規強制化和碎片化,跨域合規難度大。
在幾乎所有風險類型中,受訪者均表示,他們認為重要的風險與實際正在採取緩解措施的風險之間存在明顯差距。這種差距在知識產權侵權和個人隱私方面尤為明顯,這表明對風險的認知提升速度,已經超過了相應控制措施、流程以及工具建設的落地速度,從而難以及時、有效地進行風險管理。
李睿指出,機器級對抗引發嚴重「攻防不對稱」,攻擊已是智能速度,防守卻依賴人工手動封堵,傳統的防控形同虛設,必須「以AI對抗AI」,從輸入和輸出兩端進行風險防控,輸入端要判斷有沒有危險信號,輸出端要判斷有沒有違規內容。「部署AI驅動的威脅檢測與響應、網絡隔離與流量管控、惡意代碼檢測與沙箱分析,同時進行漏洞管理與實時修復。」
數據顯示,截至2026年4月,全球已有75+國家/地區出台人工智慧相關戰略、政策與法規,科技倫理、透明度與問責制、數據合規與隱私保護仍是全球監管核心關注重點。
(編輯:文靜)
關鍵字:
159.78萬 熱度
20.23萬 熱度
33.99萬 熱度
18.42萬 熱度
99.81萬 熱度
報告:安全問題成為AI規模化部署首要障礙 須「以AI對抗AI」
6月23日,在第四屆中國國際供應鏈促進博覽會上,普華永道中國管理諮詢業務合夥人李睿發佈《從數據投毒到模型越獄,重構安全體系防禦AI新風險》報告(以下簡稱「報告」),結合人工智慧規模化應用,深度剖析數據污染、提示詞劫持、模型越獄等新型安全風險。
「自2021年以來,AI事件和危害數量呈現指數級增長。」李睿直言,安全與風險問題已成為智能體AI實現規模化部署的首要障礙。近2/3受訪者將安全與風險問題視為全面擴大智能體AI應用的首要障礙,這一比例明顯高於監管不確定性或技術限制,說明組織面臨的制約更多在於對其能否安全地大規模部署自主系統的信心。
報告顯示,根據過往AI風險事件分析,超過半數AI風險事件源於人類的主動惡意行為,AI系統自身的安全與故障問題佔比僅為21%,且近年來佔比仍在相對下降。在2025年單年數據中,惡意行為者類事件的佔比從37.9%躍升至57%,說明AI正在被越來越快速地武器化。
報告列舉了當前AI風險:一、AI黑客升級,智能挖掘漏洞,自動傳播惡意代碼;二、AI驅動精準高級攻擊,勒索更具有針對性;三、深度偽造內容氾濫,高級社交工程攻擊事件頻發;四、模型越獄觸發違規輸出,聲譽與合規雙重承壓;五、AI供應鏈投毒,隱蔽漏洞引發業務故障;六、算法偏見、系統性歧視與社會不公;七、AI訓練數據來源不清,引發版權侵權;八、具身智能誤判執行,造成物理與人身傷害;九、Agent任務鏈失控,級聯決策引發不可逆後果;十、AI監管法規強制化和碎片化,跨域合規難度大。
在幾乎所有風險類型中,受訪者均表示,他們認為重要的風險與實際正在採取緩解措施的風險之間存在明顯差距。這種差距在知識產權侵權和個人隱私方面尤為明顯,這表明對風險的認知提升速度,已經超過了相應控制措施、流程以及工具建設的落地速度,從而難以及時、有效地進行風險管理。
李睿指出,機器級對抗引發嚴重「攻防不對稱」,攻擊已是智能速度,防守卻依賴人工手動封堵,傳統的防控形同虛設,必須「以AI對抗AI」,從輸入和輸出兩端進行風險防控,輸入端要判斷有沒有危險信號,輸出端要判斷有沒有違規內容。「部署AI驅動的威脅檢測與響應、網絡隔離與流量管控、惡意代碼檢測與沙箱分析,同時進行漏洞管理與實時修復。」
數據顯示,截至2026年4月,全球已有75+國家/地區出台人工智慧相關戰略、政策與法規,科技倫理、透明度與問責制、數據合規與隱私保護仍是全球監管核心關注重點。
(編輯:文靜)
關鍵字: