За 90% неудач проектов с ИИ стоят долги по подсказкам, долги по поиску и долги по оценке, разрушающие внедрение в компании

2025 年有 42% 企業砍掉多個 AI 計畫，遠超前一年的 17%。問題不在模型不夠強，而在一種新型技術債正在企業 AI 基礎設施中靜默累積，提示詞債、檢索債、評估債。
（前情提要：Harness Engineering 是什麼？拆解 AI Agent 真正落地的 7 大工程模組(AI 駕馭工程)）
（背景補充：GPT-5.5 Instant 向全體用戶開放，OpenAI 教你怎麼寫 Prompt 更聰明、有效率）

本文目錄

Toggle

• 三種新型債務，比 Bug 更難抓
• 看不見的監控缺口
• 解法不在模型，在系統設計

42%，這是 2025 年叫停多個 AI 計畫的企業佔比，比前一年整整翻了一倍半。S&P Global Market Intelligence 的資料表明，AI 失敗不是偶發現象，而是系統性問題。MIT 同年研究則指出，95% 的 AI 試點從未真正進入生產環境或創造出可量化的商業價值。

這些失敗通常被歸咎於模型能力不足、資料品質差，或 ROI 難以說明。但 Cota Capital 主管 Vikram 認為，真正的肇因更隱蔽：一種新形態的技術債正在 AI 系統的提示詞層、模型依賴層與評估層中悄悄累積，與傳統程式碼債完全不同，卻同樣致命。

三種新型債務，比 Bug 更難抓

傳統技術債存在於程式碼庫中，Bug 可以重現、可以測試、可以修復。AI 債務的特性截然不同：它是分散式的，分布在提示詞、模型 API、資料管道與基礎設施的各個層次。

它是間歇性的，因為 AI 系統本質上具有機率性，同樣的輸入不保證得到同樣的輸出；它也幾乎不可見，因為系統「看起來」在正常運作，直到某個關鍵時刻整體崩潰。

**提示詞債（Prompt Debt）**是三者中最顯而易見的一種。它沒有檔案記錄的臨時調整、沒有版本控制的提示詞異動，以及「提示詞填塞」把大量不相干的背景資訊硬塞進提示詞，試圖讓模型理解更多。

結果過來就是，提示詞變成了一種沒有型別、沒有測試、沒有版本管理的非正式程式碼。每次微調都是在一個不透明的系統上進行，累積下去，系統的脆弱性也隨之指數增長。

**模型依賴債（Model Dependency Debt）**則源自企業對外部基礎模型 API 的高度依賴。應用程式的邏輯建立在呼叫外部模型的基礎上，但這些模型的更新不在企業掌控之中。

當模型供應商靜默升級版本，針對舊版本精心調校的提示詞可能直接失效，或輸出行為出現難以預測的漂移。可重現性從此消失。

**檢索債（Retrieval Debt）**出現在大多數企業 AI 部署採用的 RAG 架構中。問題在於，那些資料倉庫裡往往堆滿了混亂的資料、重複的檔案，以及早已過期的資訊。AI 因此回傳的答案，技術上曾經是正確的，只是現在已經不再適用。這比幻覺更難被察覺，因為它看起來完全合理，甚至能透過一般測試人員的審閱。

看不見的監控缺口

**評估債（Evaluation Debt）**是四類新型 AI 債務中最容易被低估的一種。現有的 AI 基準測試大多聚焦於窄範圍、時間點式的評估結果，無法反映部署後的真實表現。絕大多數企業缺乏一致的測試標準、基準資料集，以及對已部署模型的即時監控機制。

對比傳統軟體開發早已成熟的 CI/CD（持續整合／持續交付）流程，AI 部署領域至今沒有對等的「提示詞持續整合」機制。

白話來說就是：工程師合併一段程式碼，會有自動化測試告訴你哪裡壞掉了；但一個提示詞被修改後，沒有任何系統能即時告警。結果就是，CIO 和 CTO 對模型的實際表現缺乏可見度，也無法追蹤效能是否正在惡化。

這四種新型債務疊加在原有的程式碼技術債之上，加速複合累積。雪上加霜的是，AI 系統的所有權本身就是分散的：工程、產品、資料和業務團隊各自擁有系統的不同部分，一旦出錯，責任歸屬往往不清。

解法不在模型，在系統設計

模型更強不會解決這個問題。Vikram 的論點直接：失敗率居高不下，與模型精確度無關，根源在於系統設計、整合控制，以及組織文化的缺失。

具體來說，提示詞必須被當作程式碼對待，納入版本控制、補充檔案說明、在部署前後針對所有可能的配置進行嚴格測試。

評估機制需要嵌入整個 AI 基礎設施堆疊，建立持續評估管道，同時涵蓋技術指標與業務指標，並整合 AI 可觀測性系統，監控輸出品質、失敗率、模型漂移與資料漂移。

此外，所有 AI 結果都應預設包含可解釋性說明，資料來源、使用的模型、執行的步驟，必須清晰可追溯，確保可審計，並能在系統性錯誤發生時快速修正。

這需要像過去企業投資資安強化或雲端現代化那樣，設立明確的 AI 債務消除計畫與專屬預算，並由 CXO 層級的領導人親自驅動。

講了這麼多，相信你現在可以明白：95% 的失敗，可能不是因為 AI 不夠聰明。而是因為建構 AI 系統的方式，還停留在把它當作一個黑盒子 API 呼叫，而非一套需要被嚴肅工程化對待的複雜系統。技術債從來不會憑空消失，只會以更高的利率在未來某個節點一次還清。