Các doanh nghiệp công nghệ Mỹ lặng lẽ chuyển sang mô hình AI Trung Quốc, Coinbase dẫn đầu sử dụng GLM và Kimi

Các công ty công nghệ Mỹ đang âm thầm tích hợp các mô hình AI nguồn mở của Trung Quốc vào cơ sở hạ tầng sản xuất. Khi chi phí dịch vụ của các mô hình hàng đầu Mỹ tiếp tục tăng, các doanh nghiệp như Coinbase bắt đầu sử dụng các mô hình nguồn mở Trung Quốc làm lựa chọn mặc định, giúp giảm đáng kể chi phí AI mà không hạn chế mức sử dụng.

CEO của Coinbase, Brian Armstrong, đã đăng trên nền tảng X vào tối thứ Sáu tuần trước rằng công ty đã thiết lập GLM 5.2 vừa ra mắt của Đại Trí Phổ (Zhipu) và Kimi 2.7 của Bắc Kinh Nguyệt Chi Ám Diện (Moonshot AI) làm mô hình mặc định cho các kỹ sư thông qua cổng LLM nội bộ. Armstrong cho biết, sau khi kết hợp tối ưu hóa định tuyến và cải thiện bộ nhớ đệm, chi phí AI của Coinbase đã giảm "gần một nửa," trong khi lượng sử dụng token vẫn tăng với tốc độ theo cấp số nhân.

Lợi thế chi phí của các mô hình nguồn mở Trung Quốc được đặt lên bàn cân

Armstrong chỉ rõ trong bài đăng rằng 91% kỹ sư chưa bao giờ chạm đến giới hạn sử dụng ban đầu, do đó Coinbase không chọn cách giảm giới hạn hoặc thêm cảnh báo tiêu dùng, mà chuyển sang "mô hình mặc định rẻ hơn."

GLM 5.2 đến từ Đại Trí Phổ, Kimi 2.7 đến từ Bắc Kinh Nguyệt Chi Ám Diện, cả hai đều là mô hình trọng số nguồn mở. Armstrong cho biết các mô hình này được triển khai cho các tác vụ thông thường, trong khi các kỹ sư vẫn có thể sử dụng các mô hình tiên tiến cho các tác vụ yêu cầu lập kế hoạch phức tạp. Logic của ông là: sử dụng mô hình hàng đầu ở cấp độ thực thi thường là "dùng dao mổ trâu để giết gà."

Trong quá trình xem xét mã nguồn, áp dụng chiến lược đa mô hình song song, cho phép các mô hình khác nhau kiểm tra chéo kết quả đầu ra để duy trì tiêu chuẩn chất lượng.

Tái cấu trúc cơ sở hạ tầng ba lớp thúc đẩy giảm chi phí

Armstrong liệt kê ba biện pháp cốt lõi.

Đầu tiên là định tuyến thông minh: Trong khung lập lịch tùy chỉnh, hệ thống tiền xử lý lời nhắc, kết hợp tỷ lệ trúng bộ nhớ đệm và giá mô hình, tự động phân phối tác vụ đến mô hình phù hợp và kinh tế nhất. Ông cho biết mục tiêu cuối cùng là để AI, thay vì con người, thực hiện việc chọn mô hình.

Thứ hai là bộ nhớ đệm tích cực: Coinbase yêu cầu tất cả các yêu cầu phải có khả năng nhận biết bộ nhớ đệm, cố gắng tái sử dụng bộ nhớ đệm hiện có. Ví dụ với LibreChat, sau khi triển khai cơ chế bộ nhớ đệm đúng cách, tỷ lệ trúng bộ nhớ đệm đã tăng từ 5% lên 60%.

Thứ ba là tinh gọn ngữ cảnh: Armstrong đề xuất mở phiên mới khi chuyển đổi tác vụ, thu hẹp phạm vi ngữ cảnh tệp và ngắt kết nối các công cụ không sử dụng. Ông nhấn mạnh mục tiêu không phải là giảm tổng lượng token sử dụng, mà là giảm "token bị lãng phí."

Ưu tiên hiệu quả, không phải hạn chế sử dụng

Armstrong mô tả việc giảm chi phí này là điều kiện tiên quyết để mở rộng quy mô áp dụng AI, chứ không phải là sự hạn chế. Ông cho biết các kỹ sư vẫn có thể tự do sử dụng bất kỳ số lượng token và bất kỳ mô hình nào, nhưng công ty đã trực quan hóa dữ liệu sử dụng và liên kết mức sử dụng với tác động kinh doanh—"càng chi nhiều, chúng tôi càng kỳ vọng tác động lớn hơn."

Ông không tiết lộ con số chi tiêu tuyệt đối cụ thể. Nhưng về mặt cấu trúc, việc giảm gần một nửa chi tiêu trong khi mức sử dụng tăng theo cấp số nhân cho thấy Coinbase đã phần nào tách rời mức tiêu thụ và chi phí.

Kết luận của Armstrong là phương pháp luận này có tính phổ quát, bất kỳ doanh nghiệp nào cũng có thể tham khảo để đạt được sự mở rộng bền vững quy mô sử dụng AI mà không biến chi phí thành trần nhà.

Cảnh báo rủi ro và điều khoản miễn trách nhiệm

        Thị trường có rủi ro, đầu tư cần thận trọng. Bài viết này không cấu thành lời khuyên đầu tư cá nhân, cũng không xem xét đến mục tiêu đầu tư, tình hình tài chính hoặc nhu cầu đặc biệt của từng người dùng. Người dùng nên xem xét liệu bất kỳ ý kiến, quan điểm hoặc kết luận nào trong bài viết có phù hợp với tình huống cụ thể của họ hay không. Đầu tư dựa trên đó, tự chịu trách nhiệm.