IOSG: Vì sao giới Phố Wall đang nói “không” với ChatGPT và Claude?

Tiêu đề gốc: 《IOSG Weekly Brief｜AI ở ngã tư: Vì sao Phố Wall đang nói “không” với ChatGPT và Claude? #336》 Nguồn gốc: IOSG Ventures

Tại sao cần AI riêng tư

Ngày 1 tháng 7, CEO Palantir Alex Karp đã có cuộc phỏng vấn 20 phút trên CNBC mà một số truyền thông gọi là “khủng hoảng tinh thần”. Theo Karp, doanh nghiệp đang trả thêm token cho các phòng thí nghiệm tiên tiến, trong khi nhìn thấy IP của chính mình chảy sang phía nhà cung cấp mô hình. Ông gọi hiện tượng rò rỉ này là sự chuyển dịch alpha, và việc chuyển dịch đang diễn ra ở lớp kiến trúc: mỗi yêu cầu gửi tới mô hình dạng đóng, đều đến máy chủ của nhà cung cấp dưới dạng văn bản thuần. Chỉ vài ngày trước khi chương trình lên sóng, Palantir vừa công bố hợp tác với NVIDIA, chạy mô hình Nemotron mở trong môi trường do khách hàng tự kiểm soát, đồng thời kèm một tuyên bố chủ quyền AI gồm 9 điều. Sau khi chương trình CNBC phát sóng, PLTR bật tăng 8%.

Trong 20 năm qua, doanh nghiệp dựa vào “niềm tin” ở lớp giao thức để triển khai phần mềm dạng cloud, và nó đã hoạt động. Mỗi hãng SaaS chỉ nhìn thấy từng phần dữ liệu của doanh nghiệp, và đa số cũng không có động lực dùng dữ liệu khách hàng để đổi lại sản phẩm cốt lõi. Salesforce thấy kênh bán hàng, Workday thấy nhân sự, Jira thấy vòng lặp phát triển, AWS cung cấp lớp nền lưu trữ và tính toán. Tuy nhiên hôm nay, quy trình làm việc của AI lại chủ trương tải lên toàn bộ “kho báu” một lần, kèm ngữ cảnh cấu trúc nối liền các phòng ban, nhằm tối đa hóa năng suất. Bỏ qua thiện ý, phía nhà cung cấp ở thượng nguồn giờ có thể dùng các dữ liệu này để làm tính năng mới, thay vì để chúng nằm im trong máy chủ.

Không ai đang chậm lại. Doanh thu thường niên của Anthropic vào tháng 5 đạt 47 tỷ USD, tăng mạnh so với 9 tỷ USD vào cuối năm 2025; OpenAI thì vào tháng 2 vượt 900 triệu người dùng hoạt động hằng tuần. Hai công ty đều hoàn tất vòng tài trợ mới trong mùa xuân năm nay, định giá tiến sát 1 nghìn tỷ USD, và dự kiến sẽ thực hiện IPO với vốn hóa cao hơn. Những cáo buộc kéo dài nhiều năm về quyền riêng tư và IP chưa khiến hai công ty mất chút đà nào.

Một phần doanh nghiệp đã hành động từ sớm. Tháng 2 năm 2023, chưa đầy 3 tháng sau khi ChatGPT ra mắt, các ngân hàng lớn của Phố Wall đã hạn chế việc dùng nó. Tháng 5 năm 2023, sau khi một kỹ sư Samsung làm lộ mã nguồn chip vào ChatGPT, công ty đã chặn ChatGPT trên toàn hệ thống AI sinh thành. Để đáp lại, OpenAI tháng 8 cùng năm ra mắt ChatGPT Enterprise, cam kết không dùng dữ liệu thương mại để huấn luyện, kèm theo thỏa thuận không lưu dữ liệu (zero-data-retention, ZDR), và sau đó thỏa thuận này trở thành yêu cầu “chuẩn” khi doanh nghiệp mua hàng.

Nhưng hợp đồng chỉ khóa tài khoản công ty. IBM phát hiện rằng đến năm 2025, “shadow AI” (nhân viên đưa dữ liệu công ty vào công cụ AI chưa được phê duyệt qua tài khoản cá nhân) đã liên quan tới 1/5 vụ rò rỉ dữ liệu, và mức dùng shadow AI nặng khiến chi phí rò rỉ trung bình cộng thêm 670 nghìn USD. Trong một cuộc khảo sát năm 2025 của công ty đào tạo bảo mật Anagram, 4/4 nhân viên cho biết để hoàn thành tác vụ nhanh hơn, họ sẵn sàng vi phạm chính sách dùng AI.

Doanh nghiệp ít nhất có thể chi tiền để mua lối thoát: hợp đồng ZDR, dịch vụ không huấn luyện. Nếu bạn là chính phủ hoặc khách hàng của Palantir thì còn có triển khai chủ quyền. Còn với người như bạn và tôi, AI riêng tư còn quan trọng đến mức nào đến nay vẫn còn tranh cãi, cho tới khi giấy triệu tập của tòa án gõ cửa.

Một lệnh của tòa án vào tháng 5 năm 2025 buộc OpenAI phải lưu lại cả các cuộc trò chuyện tiêu dùng đã bị người dùng xóa; tháng 11, thẩm phán lại ra lệnh chuyển 20 triệu mẫu để luật sư của The New York Times sử dụng làm tài liệu cung cấp chứng cứ. Tiếp đó là vụ án hình sự: hồ sơ ChatGPT trong vụ bị cáo vụ cháy lớn Palisades bị đưa vào làm chứng cứ; trong một vụ án song tử thi ở Florida, bản tuyên thệ trích dẫn các câu hỏi của nghi phạm về cách xử lý thi thể. Sam Altman cũng thừa nhận trong một cuộc phỏng vấn tháng 7 năm 2025 rằng các cuộc hội thoại ChatGPT không được bảo vệ đặc quyền theo luật, và trong vụ kiện, OpenAI “có thể bị yêu cầu giao ra” hồ sơ hội thoại người dùng.

Điểm mấu chốt không phải chỉ tội phạm mới cần các cuộc trò chuyện riêng tư. Việc hội thoại giữa người và AI bị lưu lại, có thể bị triệu tập, là một mặt giám sát mà đa số người dùng không biết nó tồn tại. Khảo sát của Kolmogorov Law vào tháng 10 năm 2025 đối với 1.000 người dùng AI ở Mỹ cho thấy 50% người không biết các cuộc trò chuyện này có thể bị triệu tập, đồng thời 2/3 người cho rằng các cuộc chat này nên được bảo vệ như tư vấn luật sư hoặc bác sĩ.

Mô hình mã nguồn mở tự quản trị hoặc chạy trong môi trường có thể xác minh đang đuổi kịp nhanh, nhưng nhóm mạnh nhất vẫn còn kém các mô hình đóng tiên phong khoảng 4 tháng về năng lực tổng quát. Điều này khiến các doanh nghiệp và cá nhân tokenmaxxing đứng trước ngã rẽ: hoặc từ bỏ vài tháng chất lượng mô hình để đổi lấy quyền riêng tư, hoặc tiếp tục đưa tài liệu nhạy cảm lên máy chủ của Anthropic, vì đối thủ chính là những kẻ đang giành lợi thế năng suất bằng cách làm đúng như vậy.

Hiện trên thị trường chưa có giải pháp hoàn hảo. Một báo cáo đã tổng hợp các nỗ lực của nhiều bên để thu hẹp khoảng cách và đánh giá còn xa thế nào để trí tuệ “tiên phong dưới sự bảo mật có thể chứng minh” có thể đến tay doanh nghiệp và người dùng phổ thông.

Quyền riêng tư hiện được thực hiện như thế nào

AI riêng tư không phải là một công trình đơn lẻ, nhưng mỗi cơ chế trên thị trường hiện nay xử lý cùng một “sự kiện”: một prompt rời khỏi thiết bị của bạn, đi qua mạng, rơi vào máy móc chạy mô hình, rồi trả về một câu trả lời. Khác biệt giữa các cơ chế nằm ở chỗ văn bản thuần tồn tại trên đường đi ở vị trí nào, ai có thể đọc nó ở đó, và xác minh tính riêng tư của phản hồi bằng cách gì.

Quyền riêng tư theo cấp độ giao thức

Ở lớp này, ngoài bạn ra vẫn có người đọc prompt dạng văn bản thuần, và bước tiếp theo sẽ phụ thuộc hoàn toàn vào một lời hứa.

· Xóa lưu theo kiểu hợp đồng là giải pháp cho doanh nghiệp. Nhà cung cấp biết bạn là ai, xử lý prompt của bạn và cam kết không lưu trữ; việc thực thi dựa vào hợp đồng và uy tín.

· Tác tử ẩn danh xóa bạn khỏi danh tính, nhưng không mã hóa nội dung bạn nói; bên cung cấp ở hạ nguồn vẫn xử lý văn bản thuần theo chính sách của họ. Điều khoản giữa các bên không giống nhau. Ví dụ, Duck.ai (sản phẩm chatbot của DuckDuckGo) kiểu tác tử này sẽ đàm phán thỏa thuận xóa với hãng mô hình; Venice thì yêu cầu người dùng mặc định rằng nhà cung cấp sẽ lưu lại mọi thứ, nhưng cả hai phía đều không có cách xác minh.

Mỗi chặng đường giữa máy với máy đều chạy trên TLS. Nó chỉ mã hóa đường truyền; bên nhận phía kia có thể đọc mọi thông tin. Relay thường dùng Oblivious HTTP (RFC 9458) để tách quyền được biết. Nguyên lý giống như nhờ bạn bè chuyển giấy nhắn. Bạn bè biết ai chuyển nhưng không đọc được nội dung; người nhận đọc được nội dung nhưng không biết ai viết. OHTTP từ tháng 1 năm 2024 đã trở thành tiêu chuẩn IETF. Hiện đã có nhiều công ty chạy lưu lượng sản xuất trên relay OHTTP thuê từ Cloudflare và Fastly.

Đây cũng là giới hạn quyền riêng tư có thể đạt được khi truy cập mô hình dạng đóng. Lý do là một bài toán số học. Chi phí huấn luyện một lần “đỉnh cao” hiện ở mức hàng tỷ USD, trong khi định giá gần chục nghìn tỷ USD của các phòng thí nghiệm này lại đặt cược vào độc quyền trọng số mô hình. Khoảng cách về năng lực của mô hình có thể duy trì được bao lâu thì mức phí bảo hiểm duy trì được bấy lâu. Vì vậy, phòng thí nghiệm canh giữ file trọng số như bí mật quốc gia.

Meta đã từng bị động thực hiện “thí nghiệm” này. LLaMA ra mắt tháng 2 năm 2023 ban đầu chỉ mở cho nhà nghiên cứu; nhưng chưa đầy một tuần, trọng số rò rỉ dưới dạng hạt giống lên 4chan. Chỉ thêm một tuần sau, llama.cpp cho phép mô hình 7B nhỏ nhất trả lời cục bộ trên một chiếc MacBook; ba ngày sau, Stanford lại dùng tinh chỉnh chỉ tốn chưa tới 600 USD trên cùng mô hình để tạo chatbot Alpaca. Lần rò rỉ này đưa chi phí chạy Llama lên tới tiền điện; ai có được file cũng có thể chạy ở nhà. Tháng 7 năm 2023, Meta chính thức mở nguồn Llama 2 theo giấy phép thương mại kèm điều khoản loại trừ 700 triệu MAU. Trọng số chạy được, và phí bảo hiểm cũng chạy theo.

Trên lý thuyết, các phòng thí nghiệm tiên phong có thể cung cấp attestation (chứng minh từ xa) cho suy luận của mô hình dạng đóng. Nhưng attestation chỉ chứng minh đoạn mã nào đã đọc prompt, không thể chứng minh đoạn mã đó dùng nó để làm gì. Để biết máy chủ có giữ dữ liệu hay không, ta cần kiểm toán mã dịch vụ (serving code) và tái cấu trúc nó thành hash mà phần cứng báo cáo. Nhưng nếu giao ra mã dịch vụ, phòng thí nghiệm cũng giao ra các “mẹo” batch và cache làm nền cho biên lợi nhuận, và các mẹo này sẽ lan sang mỗi thế hệ mô hình trong tương lai. Apple và Meta có thể làm chứng minh từ xa cho stack dịch vụ đứng phía sau iPhone và WhatsApp, vì lợi nhuận nằm ở thiết bị và quảng cáo; việc công khai mã dịch vụ hầu như không tốn kém gì.

Đó là lý do trọng số của mô hình “đỉnh cao” và mã dịch vụ không tới được tay bên vận hành bên ngoài. Mà nếu không có bên vận hành ngoài, không có attestation bên thứ ba, thì quyền riêng tư có thể xác minh chỉ tồn tại trên các mô hình mã nguồn mở.

Quyền riêng tư theo cấp độ cấu trúc

Mỗi cơ chế trong nhóm này đều thay cam kết niềm tin bằng bằng chứng dựa trên phần cứng, mật mã hoặc vật lý; tuy nhiên mỗi cơ chế lại phải trả một “chi phí” khác nhau để nâng cấp quyền riêng tư, và quan trọng nhất là chúng chỉ chạy được trên mô hình mã nguồn mở.

· TEE (môi trường thực thi tin cậy) tính toán bí mật đưa suy luận vào enclave trong phần cứng (một khoang kín trên chip mà ngay cả bên vận hành máy cũng không mở được) để chạy; chip sẽ ký một attestation, nêu rõ rốt cuộc chạy mô hình nào và đoạn code nào.

· prompt chỉ được “khóa” ở điểm đến. Trên các chặng đường qua trung gian, vẫn tồn tại một vai trò có thể đọc được văn bản thuần; thứ chỉ có thể ngăn proxy ghi log hoặc rò rỉ nội dung relay chính là giao thức.

· E2EE (mã hóa đầu cuối đến đầu cuối) khóa phần trung gian có thể đọc. Thiết bị người dùng dùng khóa của enclave để mã hóa prompt; mỗi lần đi qua trung gian chỉ mang theo phong bì mật mà chỉ enclave mới có thể mở.

· Niềm tin rơi vào phía máy khách. Mã chịu trách nhiệm mã hóa prompt và xác minh attestation cũng có khả năng hủy bỏ cam kết đó. Vì vậy, E2EE có thể xác minh vừa cần enclave đã qua chứng minh, vừa cần mã phía máy khách phải mở và có thể tái hiện.

· So với TEE gọn nhẹ, cái giá của E2EE là gánh nặng kỹ thuật, và điều này làm chậm việc tích hợp chức năng. E2EE biến proxy thành một sứ giả mù, vì vậy mọi chức năng cần đọc văn bản thuần để hoạt động đều phải được xây lại xoay quanh khóa máy khách, hoặc chỉ được xây lại bên trong enclave.

· FHE (mã hóa đồng cấu toàn phần, và biến thể của MPC) bỏ luôn bên tin cậy. Máy chủ thực hiện tính toán trên ciphertext trong một “chiếc hộp” khóa mà nó mãi mãi không mở được; khóa chỉ nằm trong tay bạn. MPC (tính toán an toàn đa bên) chia prompt thành các phần “bí mật” cho nhiều bên; trừ khi mọi bên cùng thông đồng, hiệu quả tương đương nhau.

· Chi phí là tốc độ. FHE nguyên bản chỉ biết cộng và nhân, nên các bước phi tuyến cần cho transformer phải được dựng lại với chi phí đắt đỏ. Chi phí suy luận trên ciphertext là từ 1 vạn tới 10 vạn lần so với văn bản thuần. Với mô hình nhỏ, mỗi token cũng mất vài giây tới vài phút; còn nếu không mã hóa thì chỉ mất mili giây.

· Chip được thiết kế riêng cho phép toán mã hóa có thể thu hẹp khoảng cách, nhưng demo của nguyên mẫu đầu tiên chỉ hoàn thành vào đầu năm 2026, phiên bản thương mại còn phải chờ thêm vài năm.

· Suy luận tại chỗ xóa hẳn con đường đó. Mô hình chạy trên phần cứng của bạn, không có relay, không máy chủ, không nhu cầu xác minh.

· Thứ hiển nhiên phải trả giá là chi phí và năng lực mô hình. gpt-oss-120b trên Artificial Analysis chỉ đạt khoảng một nửa điểm của GLM-5.2, nhưng dung lượng 65GB, lớn hơn tổng bộ nhớ của hai GPU flagship ngoài thị trường. Còn GLM-5.2 độ đầy đủ chính xác chỉ chạy được trên các node trung tâm dữ liệu 8 card; chỉ riêng GPU đã hơn 300 nghìn USD.

Ngoài những ràng buộc mang tính cấu trúc đó, chi phí nhét suy luận vào enclave đang dần bị thu hẹp. Ở suy luận trên một card, benchmark của nhà cung cấp enclave cloud Phala cho thấy chế độ enclave làm mất throughput trung bình dưới 7%, và với mô hình lớn thì gần như bằng 0, vì chi phí chủ yếu nằm ở việc đưa dữ liệu vào chip, chứ không phải tính toán bên trong. Ở suy luận đa card, GPU thế hệ mới Blackwell của NVIDIA đã hỗ trợ mã hóa trực tiếp lưu lượng giữa các chip; còn với H100 cũ để đạt hiệu quả tương tự chỉ có thể vòng qua CPU với băng thông bằng 1/7. Benchmark nội bộ của NVIDIA trên Blackwell cho thấy mô hình 397B ở chế độ enclave bị mất throughput dưới 8%. Với các tiến triển này, “mất mát hiệu năng của riêng suy luận riêng tư” không còn là ràng buộc quyết định.

Trên thực tế, bản thân enclave gần như không làm tăng chi phí vận hành thêm cho bên cung cấp. Từ sau năm 2023, mỗi con H100 đều có sẵn enclave mode; phần chi phí phát sinh chỉ là tổn thất throughput do mã hóa, chứ không phải do thêm chip. Trên Azure, giá thuê “máy ảo” bí mật H100 SKU vẫn là 8,90 USD/giờ; nếu không bật enclave là 6,98 USD/giờ, tương đương cộng thêm 27% so với cơ sở cloud truyền thống. Ở phía bên kia, với các nhà vận hành chuyên cung cấp enclave như Phala, chế độ bí mật H100 được cho thuê từ 3,80 USD/giờ, thấp hơn khoảng giá 3,99 đến 4,29 USD của các card Lambda SXM thông thường. Với phương án API do quản lý, NEAR AI cung cấp endpoint có attestation tính theo token: đầu vào 0,15 USD trên mỗi triệu token, đầu ra 0,55 USD, cho gpt-oss-120b, tương đương với Amazon Bedrock, Together và Groq trên tuyến văn bản thuần. Dù là mô hình cần song song nhiều chip, NEAR AI trên GLM 5.2 có giá không khác Fireworks một xu; với Kimi K2.6 lớn hơn thì đầu vào rẻ hơn 15% và đầu ra rẻ hơn 4%.

Mặc dù các nhà cung cấp dịch vụ suy luận riêng tư mới này có thể đốt lợi nhuận để giành phần thị trường (câu này đúng với mọi công ty muốn tăng trưởng trên thị trường), nhưng xu hướng mang tính cấu trúc là: chi phí của quyền riêng tư đang giảm xuống với cả người dùng tiêu dùng lẫn nhà vận hành.

Mô hình mã nguồn mở làm sao để thắng?

Dù chi phí hiệu năng đang được nén lại, vẫn còn một khoảng cách nhìn thấy được giữa mô hình tiên phong và mô hình mã nguồn mở SOTA. Một tác nhân theo đuổi tối đa hóa năng suất muốn giữ vị trí đầu, vẫn phải tin vào các phòng thí nghiệm tiên phong rằng chúng không trộm IP của mình.

Khoảng cách vẫn còn, nhưng Bridgewater dưới thương hiệu AIA Labs và Thinking Machines vào ngày 30 tháng 6 đưa ra một ví dụ: một mô hình mở được tinh chỉnh bằng nhãn của chuyên gia đã đồng thời vượt mô hình tiên phong về độ chính xác và chi phí.

Trong nghiên cứu, nhóm tinh chỉnh Qwen3-235B trên Tinker (dịch vụ API fine-tuning do Thinking Machines quản lý). Họ trước tiên mua dữ liệu nhãn từ phía nhà cung cấp, huấn luyện vòng đầu bằng bộ dữ liệu này, rồi đưa các mẫu có bất đồng cho nhà đầu tư trong công ty để gán nhãn lại. Việc huấn luyện dùng reinforcement learning (GRPO), kèm 3 chỉnh sửa: round-robin batching (mỗi tác vụ luân phiên cho ra một batch), CISPO loss (giới hạn trần mức mà một câu trả lời đơn lẻ có thể kéo mô hình đi xa), và on-policy distillation (neo vào checkpoint tối ưu hiện tại để đảm bảo mô hình không học theo bản sao yếu hơn).

Toàn bộ tác vụ lấy từ luồng công việc hằng ngày của nhà đầu tư: một bài tin tức quan trọng với chuyên gia đầu tư cấp C-suite ra sao; một tài liệu của ngân hàng trung ương có gợi ý hướng thay đổi lãi suất trong tương lai hay không; và các câu sáo trong một tài liệu hoặc email bắt đầu từ đâu. Điểm số được tính từ một bộ kiểm thử độc lập: mô hình tiên phong trung bình khoảng 50% với prompt đơn giản; khi thêm prompt của chuyên gia cũng chỉ lên 78,2%, thấp hơn ngưỡng 80% do các nhà đầu tư đặt ra. Còn Qwen sau tinh chỉnh đạt 84,7%. Theo cách nói trong nguyên văn, điều này tương đương ít mắc lỗi hơn mô hình tiên phong tối ưu 29,8%, và chi phí suy luận thấp hơn 13,8 lần.

https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/

Cách tình chỉ này chứng minh rằng mô hình mã nguồn mở có thể thắng về cả độ chính xác và chi phí, nhưng quá trình huấn luyện vẫn không phải là riêng tư. Nhãn chuyên gia dùng trong quá trình này là dữ liệu riêng tư của Bridgewater; qua dịch vụ bên thứ ba của Tinker; rơi vào đúng lớp niềm tin tương tự như thỏa thuận ZDR. Quỹ cũng thuê năng lực tính toán, và toàn bộ huấn luyện chạy trên máy móc mà họ không bao giờ kiểm soát. Nếu một người mua muốn có công thức này mà không muốn gánh giả định “tin tưởng”, thì lựa chọn hiện nay rất ít. Thuê một cụm GPU trần, quá trình huấn luyện cho cloud operator đọc được. Mua lấy cụm giải quyết vấn đề lưu trữ dữ liệu, nhưng chi phí tăng vọt.

Lộ trình có attestation vừa mới xuất hiện. Tháng 3, Workshop Labs và Tinfoil công bố Silo, một stack hậu huấn luyện chạy trong Tinfoil enclave, trên một node 8 card, khóa nằm trong tay khách hàng. Bài viết đưa ra chi phí enclave: huấn luyện hai giờ tốn thêm 11 phút, và stack này có thể nhét vừa một mô hình một nghìn tỷ tham số (Kimi K2 Thinking) bằng cách “đóng băng” trọng số nền, chỉ huấn luyện adapter nhỏ trên đó. Điểm khó là reinforcement learning cần chuyển dữ liệu qua lại giữa các thành phần, mà việc chuyển dữ liệu chính là nơi enclave tốn chi phí.

Chưa đầy một tháng sau khi Silo ra mắt, Workshop Labs đã bị Thinking Machines mua lại. Các bộ phận cần để chạy một vòng RL kiểu Bridgewater trong enclave hiện đều thuộc về cùng một công ty.

Quyền riêng tư ở lớp Harness

Còn một vấn đề nằm ngang qua mọi cơ chế suy luận riêng tư. Những cơ chế này mỗi cái đều quản phần đường từ prompt tới mô hình, còn mỗi lần agent gọi công cụ bên ngoài thì lại mở ra một con đường mà lớp suy luận này căn bản không chạm tới. Trào lưu harness engineering gần đây làm vấn đề phình lên gấp nhiều lần: mỗi công cụ, kho nhớ và nguồn dữ liệu gắn quanh mô hình đều là một điểm đến mới, và mỗi điểm đến đó chỉ biết đọc slice luồng việc của riêng mình dưới dạng văn bản thuần. Máy chủ lịch đọc được lịch trình, máy chủ cơ sở dữ liệu đọc được truy vấn. Một agent chạy hoàn toàn cục bộ nếu chỉ muốn “lấy” bất kỳ thứ gì ngoài tập huấn luyện thì vẫn cần gửi từ khóa tìm kiếm dưới dạng văn bản thuần tới công cụ tìm kiếm; nếu phía máy chủ không đọc được văn bản thuần thì không thể trả lời.

Giải pháp phổ biến vẫn mặc định rơi về phía lớp giao thức. Runlayer và MintMCP, kiểu công ty như vậy, dùng một cổng trung tâm để kiểm soát toàn bộ lưu lượng công cụ; trước khi yêu cầu rời đi, cổng sẽ che giấu thông tin nhận dạng cá nhân (PII). Cổng đồng thời quyết định máy chủ nào được nhận lưu lượng; chặn những thứ chưa được thẩm tra trước khi vào cửa, và ghi lại điểm đến và nội dung mỗi lần gọi để phục vụ truy vết. Dù những kiểm soát này có gắn kiểm toán độc lập (SOC 2), các máy chủ công cụ vẫn phải đọc truy vấn văn bản thuần để trả lời; việc họ có lưu bản sao hay không phụ thuộc điều khoản lưu trữ nội bộ của họ, và còn phải nhân lên theo từng công cụ trong harness. Ngoài ra, cổng bản thân nó cũng là một bên đọc thêm một phụ thuộc niềm tin trên đường đi, chứ không phải một cơ chế xác minh.

Giải pháp theo cấp độ cấu trúc đã chạm vào lớp giữa đó. Ví dụ, Phala triển khai trực tiếp MCP server vào TEE: phạm vi thư mục bao gồm ví, thực thi mã và nguồn dữ liệu. Người dùng có thể xác minh tuyên bố riêng tư bằng một attestation, thay vì tin vào bên vận hành. Tuy nhiên, công cụ được TEE ủy thác cuối cùng vẫn phải gửi truy vấn dạng văn bản thuần cho nhà cung cấp dịch vụ; enclave chỉ đóng vai “người đưa tin”, không phải đóng vai “đích đến”.

Chỉ có một số ít “đích đến” học được cách không đọc mà vẫn trả lời, nhưng chỉ giới hạn ở truy vấn dạng cấu trúc. Apple cung cấp Private Information Retrieval cho iPhone: khi đối chiếu số gọi với kho dữ liệu chống rác, không cần lộ số. Microsoft trong trình duyệt Edge cũng dùng cùng một cách như vậy cho mật khẩu. MongoDB có Queryable Encryption cho phép phía máy khách mã hóa trước khi trường rời khỏi thiết bị, và máy chủ chỉ cần dựa trên ciphertext vẫn có thể thực hiện khớp bằng giá trị tương đương và theo phạm vi.

Nhưng với tìm kiếm mở, câu trả lời tốt nhất ngày nay vẫn dừng ở mức tin tưởng; tìm kiếm mã hóa có thể xác minh vẫn chưa ra khỏi phòng thí nghiệm. Brave cam kết “không lưu dữ liệu” trên chỉ mục của chính nó (400 triệu trang, không phải chỉ mục của Google), nhưng nó vẫn dựa ở lớp giao thức. Exa xây dựng một bộ chỉ mục thần kinh: nhúng từ khóa người dùng thành ngữ nghĩa, rồi xếp hạng kết quả theo ngữ nghĩa; nhưng bước nhúng này vẫn được tính trên máy chủ của Exa từ văn bản thuần. Bài Tiptoe của MIT năm 2023 sắp xếp 360 triệu trang mà không lộ truy vấn, nhưng mỗi lần tìm kiếm phải đốt lượng lớn năng lực tính toán máy chủ; chất lượng xếp hạng kém hơn tìm kiếm không mã hóa. Bài Wally của Apple năm 2024 giấu truy vấn thật vào một “đống” mồi, khiến chi phí truyền thông tối đa giảm 31 lần, nhưng toán học này chỉ rẻ khi có hàng triệu yêu cầu đồng thời; quy mô như vậy, ngày nay không hệ thống tìm kiếm riêng tư nào đạt được.

Tìm kiếm mã hóa làm được, chỉ là hiệu năng và giá vẫn chưa đủ để khả thi thương mại.

Triển vọng

Nhu cầu AI riêng tư đang tăng. Venice AI gần đây vượt 3,5 triệu người đăng ký và thông lượng 1,3 nghìn tỷ token mỗi tháng; sau đó hoàn tất một vòng Series A cổ phần định giá thêm 1 tỷ USD. Proton là đối thủ cạnh tranh trực tiếp: sản phẩm chat Lumo của họ ra mắt được một năm thì người dùng vượt 10 triệu. Ở hạ tầng, Phala hiện chạy trung bình 2 đến 3 tỷ token mỗi ngày trên OpenRouter. Duck.ai định tuyến gpt-oss-120b và Gemma vào enclave của Tinfoil, tạo cho người dùng proxy một lớp riêng tư có thể xác minh. Chưa tính triển khai tự quản trị, và nó rất có thể là kênh suy luận riêng tư lớn nhất, vì mô hình chạy trên phần cứng riêng và không để lại bất kỳ dấu vết dùng nào.

Tuy nhiên, đặt vào làn sóng AI chủ đạo, AI riêng tư chỉ chiếm một phần rất nhỏ, và khoảng cách đó chỉ có thể thu hẹp khi các phòng thí nghiệm tiên phong chủ động đáp ứng nhu cầu này. Tháng 5, Google xử lý toàn bộ sản phẩm với 3.200 nghìn tỷ token; theo đó, thông lượng của Venice trong một tháng xấp xỉ bằng 18 phút của Google. Tháng 11 năm ngoái, Google ra mắt Private AI Compute (PAC), đưa một phần các chức năng dựa trên Gemini vào enclave TPU kín được cách ly riêng với công ty, và thiết kế để NCC Group kiểm toán độc lập. Vấn đề là PAC chỉ bao phủ một vài tính năng Pixel như gợi ý cá nhân hóa và tóm tắt thu âm, chứ không bao phủ ứng dụng Gemini mà hàng trăm triệu người đang dùng. Google dám đưa thiết kế cho bên kiểm toán vì các chức năng này kiếm tiền từ thiết bị và quảng cáo, không dựa vào việc bán token.

Các phương án triển khai do vận hành hiện cũng chưa hoàn hảo. Muốn lấy quyền riêng tư cao nhất nhờ E2EE, phải chờ khi các tính năng được “tái dựng” ở nơi phía nhà cung cấp không đọc được. Harness riêng tư ở lớp dịch vụ vẫn phụ thuộc vào giao thức. Huấn luyện hậu với giá hợp lý muốn lấy kết quả fine-tuning tốt nhất vẫn phải tin một nhà cung cấp bên thứ ba. Tự quản trị có thể “cắt đứt” toàn bộ nhà cung cấp trong một lần, nhưng chạy mô hình mã nguồn mở mạnh nhất tại máy địa phương có thể tốn tiền hơn cả chi phí cắm nó vào “căn nhà” nơi bạn lắp đặt.

Dù các khiếm khuyết là vậy, AI riêng tư đã là một lựa chọn có thật và chi phí phải chăng, và các khoảng trống còn lại cũng đang thu hẹp. Với người tiêu dùng phổ thông, ở Lumo và Venice, chat riêng tư với mô hình mở theo lời hứa không log hoàn toàn miễn phí; trong khi thuê bao 18 đến 20 USD của Venice hoặc Tinfoil đóng gói cùng loại chat trong enclave và không đắt hơn một thuê bao ChatGPT. Với luồng công việc doanh nghiệp, endpoint có attestation giờ còn rẻ hơn tuyến văn bản thuần. Endpoint kiểu E2EE API của NEAR đã có thể đưa ngữ cảnh được mã hóa vào enclave: bộ nhớ, upload file, và chỉ lệnh tùy chỉnh hiện đều chạy được trên E2EE. Còn với hậu huấn luyện có attestation, Vera Rubin NVL72 do NVIDIA sắp ra mắt sẽ mở rộng tính toán bí mật từ node 8 card của Blackwell lên rack 72 card, giúp vòng lặp RL tiên phong khả thi hơn mà không cần lộ IP.

Tuy nhiên, phần nắm giá trị cốt lõi lại nằm ngoài các lớp nơi giá đang bị nén. Quyền riêng tư gần như đã “miễn phí” ở nơi nó đã tồn tại, nhưng vẫn chưa phủ được các luồng agentic phổ biến. Những nhà vận hành tập trung cho thuê enclave nắm một “công tắc” trên chip chuẩn, không phải hào lũy thừa. Còn gateway ở lớp giao thức lại cạnh tranh ngay tại sân với middleware truyền thống. Địa hình có thể phòng thủ nằm ở nửa bài toán chưa được giải quyết trong báo cáo này: vòng huấn luyện bị giam trong enclave, lệnh gọi công cụ bị khóa end-to-end, và chỉ mục tìm kiếm mà không nhìn thấy được mục từ. Ai làm ra trước một trong các mảnh đó, người đó đang bán thứ mà mọi cuộc chiến giá đều không thể biến thành hàng hóa. Vốn đang đuổi theo AI riêng tư nên mua “khoảng trống”, chứ không mua “công tắc”.

Vậy rốt cuộc là tin tưởng hay xác minh? Với các tác vụ cần chạy lại nặng và lặp lại agent, chọn tin tưởng, vì mỗi lần gọi công cụ vốn đã gửi văn bản thuần tới đích đến mà enclave không thể khóa lại; và mô hình tiên phong trong các vòng lặp đó xứng đáng với mức giá của nó. Còn với suy nghĩ “cấp cao” giúp tách một công ty khỏi đối thủ, chọn xác minh. Chiến lược, lập kế hoạch và phán đoán được tinh luyện từ nhiều năm chuyên môn chính là “phần alpha” nằm trong tranh cãi. Con đường phía trước là trong ranh giới do chính công ty tự kiểm soát, dùng các hiểu biết riêng để fine-tuning mô hình mã nguồn mở. Trong lĩnh vực mà alpha của một công ty đang đứng vững, các mô hình mở được điều chỉnh bởi chuyên gia đã đồng thời vượt mô hình tiên phong về cả độ chính xác và chi phí; và hạ tầng để xây nó trong môi trường riêng tư đang dần đến từng node, từng node một.

Link gốc

Bấm để tìm hiểu: Luật động BlockBeats đang tuyển dụng

Chào mừng bạn tham gia cộng đồng chính thức của Luật động BlockBeats:

Nhóm đăng ký Telegram: https://t.me/theblockbeats

Nhóm Telegram thảo luận: https://t.me/BlockBeats_App

Tài khoản Twitter chính thức: https://twitter.com/BlockBeatsAsia