Chín mươi phần trăm các dự án AI thất bại đằng sau: Nợ từ câu lệnh gợi ý, nợ từ truy vấn, nợ từ đánh giá đang kéo doanh nghiệp xuống khi triển khai

Năm 2025 có 42% doanh nghiệp cắt bỏ nhiều dự án AI, cao hơn gấp 1,5 lần so với 17% của năm trước. Vấn đề không phải do mô hình không đủ mạnh, mà là một loại nợ kỹ thuật mới đang âm thầm tích tụ trong hạ tầng AI của doanh nghiệp, gồm nợ lời nhắc, nợ truy xuất, nợ đánh giá.
(Phần giới thiệu: Harness Engineering là gì? Phân tích 7 mô-đun kỹ thuật thực sự triển khai AI Agent (Kỹ thuật điều hướng AI))
(Bổ sung nền: GPT-5.5 Instant mở cho tất cả người dùng, OpenAI hướng dẫn cách viết Prompt thông minh, hiệu quả hơn)

Mục lục bài viết

Toggle

• Ba loại nợ mới, khó bắt hơn lỗi Bug
• Khoảng trống giám sát không thấy rõ
• Giải pháp không nằm ở mô hình, mà ở thiết kế hệ thống

42%, đó là tỷ lệ các doanh nghiệp dừng nhiều dự án AI vào năm 2025, gấp rưỡi so với năm trước. Dữ liệu của S&P Global Market Intelligence cho thấy, thất bại trong AI không phải là hiện tượng ngẫu nhiên, mà là vấn đề hệ thống. Nghiên cứu của MIT cùng năm chỉ ra rằng, 95% các thử nghiệm AI chưa từng thực sự đi vào sản xuất hoặc tạo ra giá trị thương mại có thể đo lường được.

Những thất bại này thường bị quy trách nhiệm do khả năng mô hình không đủ, chất lượng dữ liệu kém, hoặc ROI khó giải thích. Nhưng Vikram, giám đốc của Cota Capital, cho rằng nguyên nhân thực sự còn ẩn hơn: một dạng nợ kỹ thuật mới đang âm thầm tích tụ trong tầng lời nhắc, tầng phụ thuộc mô hình và tầng đánh giá của hệ thống AI, hoàn toàn khác biệt với nợ mã nguồn truyền thống, nhưng cũng nguy hiểm không kém.

Ba loại nợ mới, khó bắt hơn lỗi Bug

Nợ kỹ thuật truyền thống tồn tại trong kho mã, lỗi Bug có thể tái tạo, kiểm thử, sửa chữa dễ dàng. Trong khi đó, đặc điểm của nợ AI hoàn toàn khác biệt: nó phân tán, phân bố khắp các tầng lời nhắc, API mô hình, pipeline dữ liệu và hạ tầng.

Nó là dạng gián đoạn, vì hệ thống AI về bản chất mang tính xác suất, cùng một đầu vào không đảm bảo cho ra cùng một kết quả; nó cũng gần như không thể nhìn thấy, vì hệ thống "trông có vẻ" hoạt động bình thường, cho đến một thời điểm then chốt toàn bộ sụp đổ.

Nợ lời nhắc (Prompt Debt) là dạng rõ ràng nhất trong ba loại. Nó không có ghi chép tạm thời về điều chỉnh, không có kiểm soát phiên bản cho lời nhắc, và "nhồi nhét lời nhắc" bằng cách cố gắng nhồi nhét nhiều thông tin nền không liên quan vào lời nhắc, nhằm giúp mô hình hiểu nhiều hơn.

Kết quả là, lời nhắc trở thành một dạng mã không chính thức, không có kiểu rõ ràng, không có kiểm thử, không có quản lý phiên bản. Mỗi lần tinh chỉnh đều thực hiện trên một hệ thống không minh bạch, tích tụ dần, khiến hệ thống ngày càng dễ tổn thương theo cấp số nhân.

Nợ phụ thuộc mô hình (Model Dependency Debt) bắt nguồn từ việc doanh nghiệp phụ thuộc quá nhiều vào API mô hình bên ngoài. Logic ứng dụng xây dựng dựa trên việc gọi mô hình bên ngoài, nhưng các mô hình này không nằm trong tầm kiểm soát của doanh nghiệp.

Khi nhà cung cấp mô hình nâng cấp phiên bản âm thầm, các lời nhắc đã tinh chỉnh kỹ cho phiên bản cũ có thể trở nên vô hiệu, hoặc hành vi đầu ra xuất hiện sự lệch lạc khó dự đoán. Tính khả lập lại biến mất từ đó.

Nợ truy xuất (Retrieval Debt) xuất hiện trong hầu hết các hệ thống RAG (Retrieval-Augmented Generation) mà doanh nghiệp triển khai AI. Vấn đề là, các kho dữ liệu thường chứa đầy dữ liệu rối rắm, trùng lặp, và thông tin đã quá hạn. Do đó, câu trả lời AI đưa ra, về mặt kỹ thuật là chính xác từng thời điểm, nhưng hiện tại đã không còn phù hợp. Điều này khó phát hiện hơn cả ảo giác, vì trông nó hoàn toàn hợp lý, thậm chí qua kiểm tra của nhân viên thử nghiệm thông thường.

Khoảng trống giám sát không thấy rõ

Nợ đánh giá (Evaluation Debt) là dạng nợ AI mới dễ bị đánh giá thấp nhất. Các tiêu chuẩn đánh giá AI hiện tại chủ yếu tập trung vào kết quả trong phạm vi hẹp, tại các thời điểm cụ thể, không phản ánh được hiệu suất thực tế sau khi triển khai. Hầu hết doanh nghiệp thiếu tiêu chuẩn kiểm thử nhất quán, bộ dữ liệu chuẩn, và cơ chế giám sát thời gian thực cho các mô hình đã triển khai.

So với quy trình CI/CD (Liên tục tích hợp / Liên tục triển khai) đã phát triển của phần mềm truyền thống, lĩnh vực triển khai AI vẫn chưa có cơ chế "tích hợp liên tục lời nhắc" tương đương.

Nói đơn giản là: kỹ sư hợp nhất một đoạn mã, sẽ có kiểm thử tự động báo lỗi; nhưng khi lời nhắc bị chỉnh sửa, không có hệ thống nào cảnh báo ngay lập tức. Kết quả là, CIO và CTO thiếu khả năng nhìn thấy hiệu suất thực tế của mô hình, cũng như không thể theo dõi xem hiệu năng có đang xấu đi hay không.

Bốn dạng nợ mới này cộng thêm nợ kỹ thuật mã nguồn cũ, làm tăng tốc độ tích tụ phức tạp. Thêm vào đó, quyền sở hữu hệ thống AI vốn phân tán: các nhóm kỹ thuật, sản phẩm, dữ liệu và kinh doanh đều sở hữu các phần khác nhau của hệ thống, khi xảy ra lỗi, trách nhiệm thường không rõ ràng.

Giải pháp không nằm ở mô hình, mà ở thiết kế hệ thống

Mô hình mạnh hơn cũng không giải quyết được vấn đề này. Vikram lập luận rõ ràng: tỷ lệ thất bại cao không liên quan đến độ chính xác của mô hình, mà bắt nguồn từ thiết kế hệ thống, kiểm soát tích hợp, và văn hóa tổ chức.

Cụ thể, lời nhắc phải được xem như mã nguồn, đưa vào kiểm soát phiên bản, bổ sung tài liệu, và phải kiểm thử nghiêm ngặt tất cả các cấu hình trước và sau khi triển khai.

Cơ chế đánh giá cần được tích hợp toàn bộ hệ thống hạ tầng AI, xây dựng pipeline đánh giá liên tục, đồng thời bao gồm các chỉ số kỹ thuật và kinh doanh, và tích hợp hệ thống quan sát AI, giám sát chất lượng đầu ra, tỷ lệ thất bại, drift mô hình và drift dữ liệu.

Ngoài ra, tất cả kết quả AI đều phải kèm theo giải thích rõ ràng, nguồn dữ liệu, mô hình sử dụng, các bước thực thi, phải rõ ràng có thể truy xuất, đảm bảo khả năng kiểm toán, và có thể nhanh chóng sửa chữa khi xảy ra lỗi hệ thống.

Điều này đòi hỏi, giống như các doanh nghiệp đã đầu tư vào tăng cường an ninh mạng hoặc hiện đại hóa đám mây, phải xây dựng kế hoạch loại bỏ nợ AI rõ ràng và ngân sách riêng, do các lãnh đạo cấp cao như CXO trực tiếp thúc đẩy.

Nói nhiều như vậy, bạn có thể hiểu rõ: 95% thất bại không phải do AI không đủ thông minh. Mà là do cách xây dựng hệ thống AI còn dừng lại ở việc xem nó như một API hộp đen, chứ chưa coi đó là một hệ thống phức tạp cần được kỹ lưỡng kỹ thuật hóa. Nợ kỹ thuật không bao giờ tự biến mất, mà chỉ tích tụ với lãi suất cao hơn, chờ đến một thời điểm nào đó để trả hết một lần.