九成 AI 专案失败背后：提示词债、检索债、评估债正在拖垮企业部署

2025 年有 42% 企业砍掉多个 AI 计畫，远超前一年的 17%。问題不在模型不夠強，而在一種新型技術債正在企业 AI 基礎设施中靜默累積，提示詞債、檢索債、評估債。
（前情提要：Harness Engineering 是什麼？拆解 AI Agent 真正落地的 7 大工程模組(AI 駕馭工程)）
（背景補充：GPT-5.5 Instant 向全體用戶开放，OpenAI 教你怎麼寫 Prompt 更聰明、有效率）

本文目錄

Toggle

• 三種新型債務，比 Bug 更难抓
• 看不见的監控缺口
• 解法不在模型，在系统设计

42%，这是 2025 年叫停多个 AI 计畫的企业佔比，比前一年整整翻了一倍半。S&P Global Market Intelligence 的资料表明，AI 失敗不是偶发现象，而是系统性问題。MIT 同年研究則指出，95% 的 AI 試点从未真正进入生产環境或創造出可量化的商业价值。

这些失敗通常被歸咎於模型能力不足、资料品质差，或 ROI 难以说明。但 Cota Capital 主管 Vikram 认为，真正的肇因更隐蔽：一種新形態的技術債正在 AI 系统的提示詞層、模型依賴層与評估層中悄悄累積，与傳统程式碼債完全不同，卻同樣致命。

三種新型債務，比 Bug 更难抓

傳统技術債存在於程式碼庫中，Bug 可以重现、可以測試、可以修復。AI 債務的特性截然不同：它是分散式的，分布在提示詞、模型 API、资料管道与基礎设施的各个層次。

它是间歇性的，因为 AI 系统本质上具有机率性，同樣的输入不保证得到同樣的输出；它也幾乎不可见，因为系统「看起来」在正常运作，直到某个关鍵时刻整體崩潰。

**提示詞債（Prompt Debt）**是三者中最顯而易见的一種。它沒有檔案記錄的臨时调整、沒有版本控制的提示詞異动，以及「提示詞填塞」把大量不相干的背景资訊硬塞进提示詞，試圖让模型理解更多。

結果过来就是，提示詞變成了一種沒有型別、沒有測試、沒有版本管理的非正式程式碼。每次微调都是在一个不透明的系统上进行，累積下去，系统的脆弱性也随之指數增长。

**模型依賴債（Model Dependency Debt）**則源自企业对外部基礎模型 API 的高度依賴。应用程式的逻辑建立在呼叫外部模型的基礎上，但这些模型的更新不在企业掌控之中。

当模型供应商靜默升級版本，針对舊版本精心调校的提示詞可能直接失效，或输出行为出现难以预測的漂移。可重现性从此消失。

**檢索債（Retrieval Debt）**出现在大多數企业 AI 部署採用的 RAG 架構中。问題在於，那些资料倉庫裡往往堆滿了混亂的资料、重複的檔案，以及早已过期的资訊。AI 因此回傳的答案，技術上曾经是正確的，只是现在已经不再适用。这比幻覺更难被察覺，因为它看起来完全合理，甚至能透过一般測試人員的審阅。

看不见的監控缺口

**評估債（Evaluation Debt）**是四類新型 AI 債務中最容易被低估的一種。现有的 AI 基準測試大多聚焦於窄範圍、时间点式的評估結果，无法反映部署后的真实表现。絕大多數企业缺乏一致的測試標準、基準资料集，以及对已部署模型的即时監控机制。

对比傳统软體开发早已成熟的 CI/CD（持续整合／持续交付）流程，AI 部署领域至今沒有对等的「提示詞持续整合」机制。

白話来说就是：工程師合併一段程式碼，会有自动化測試告訴你哪裡壞掉了；但一个提示詞被修改后，沒有任何系统能即时告警。結果就是，CIO 和 CTO 对模型的实际表现缺乏可见度，也无法追蹤效能是否正在惡化。

这四種新型債務疊加在原有的程式碼技術債之上，加速複合累積。雪上加霜的是，AI 系统的所有權本身就是分散的：工程、产品、资料和业務團队各自擁有系统的不同部分，一旦出错，责任歸屬往往不清。

解法不在模型，在系统设计

模型更強不会解決这个问題。Vikram 的論点直接：失敗率居高不下，与模型精確度无关，根源在於系统设计、整合控制，以及組织文化的缺失。

具體来说，提示詞必須被当作程式碼对待，納入版本控制、補充檔案说明、在部署前后針对所有可能的配置进行嚴格測試。

評估机制需要嵌入整个 AI 基礎设施堆疊，建立持续評估管道，同时涵蓋技術指標与业務指標，並整合 AI 可觀測性系统，監控输出品质、失敗率、模型漂移与资料漂移。

此外，所有 AI 結果都应预设包含可解釋性说明，资料来源、使用的模型、執行的步骤，必須清晰可追溯，確保可審计，並能在系统性错誤发生时快速修正。

这需要像过去企业投资资安強化或雲端现代化那樣，设立明確的 AI 債務消除计畫与專屬预算，並由 CXO 層級的领導人親自驅动。

講了这麼多，相信你现在可以明白：95% 的失敗，可能不是因为 AI 不夠聰明。而是因为建構 AI 系统的方式，还停留在把它当作一个黑盒子 API 呼叫，而非一套需要被嚴肅工程化对待的複雜系统。技術債从来不会憑空消失，只会以更高的利率在未来某个節点一次还清。