4,2 tỷ! Yun Tian Li Fei khai xuân thắng lợi, trúng thầu dự án cụm AI suy luận 1.000 K tại Zhanjiang

（Nguồn: YunTian LiFei）

Gần đây, YunTian LiFei đã trúng thầu dự án xây dựng hạ tầng hỗ trợ năng lực sản xuất mới dựa trên AI tại thành phố Zhanjiang. Theo kế hoạch dự án, công ty sẽ dựa trên card tăng tốc suy luận AI nội địa tự phát triển để tham gia xây dựng cụm tính toán suy luận AI, đồng thời thúc đẩy việc thích ứng và triển khai các mô hình lớn nội địa như DeepSeek trong các ứng dụng liên quan, nhằm cung cấp nền tảng hạ tầng tính toán cho các ứng dụng số hóa chính quyền và công nghiệp.

Xây dựng hạ tầng tính toán suy luận cho các ứng dụng mô hình lớn

Cụm tính toán suy luận AI trong dự án này sẽ được thiết kế hệ thống dựa trên yêu cầu nhiệm vụ suy luận của các mô hình lớn.

Trong quá trình suy luận của mô hình lớn, các giai đoạn tính toán khác nhau có nhu cầu về tài nguyên hệ thống khác nhau. Hiện nay, ngành công nghiệp phổ biến sử dụng kiến trúc suy luận “Prefill–Decode phân tách”, tối ưu hóa phân bổ tài nguyên cho các giai đoạn khác nhau để nâng cao hiệu quả vận hành tổng thể của hệ thống.

Trong kiến trúc này, giai đoạn Prefill chủ yếu chịu trách nhiệm hiểu và tính toán ngữ cảnh dài hạn, yêu cầu cao về năng lực tính toán và băng thông; giai đoạn Decode liên tục sinh token, nhạy cảm hơn với độ trễ của hệ thống. Trong quá trình xây dựng dự án, sẽ kết hợp đặc điểm của từng giai đoạn để phân bổ tài nguyên tính toán và tối ưu hệ thống.

Đồng thời, khi độ dài ngữ cảnh của mô hình ngày càng tăng, lượng lớn trạng thái trung gian cần được lưu trữ dưới dạng bộ nhớ KV Cache. Dựa trên đặc điểm này, trong thiết kế hệ thống, dự án đã tối ưu hóa sự phối hợp giữa tính toán, lưu trữ và mạng để nâng cao hiệu quả truy cập dữ liệu và hiệu suất tổng thể của hệ thống.

Về kiến trúc mạng, hệ thống sẽ sử dụng kiến trúc kết nối tốc độ cao thống nhất, xây dựng mạng tầng vật lý của cụm bằng mạng quang 400G, để đạt được truyền thông băng thông cao, độ trễ thấp giữa các nút, đồng thời hỗ trợ mở rộng từ quy mô vài chục card trên một nút đến hàng nghìn card trong cụm, nhằm đáp ứng các nhu cầu ứng dụng AI quy mô khác nhau.

Sau khi hoàn thành toàn bộ dự án, sẽ hình thành hạ tầng tính toán phù hợp cho các nhiệm vụ suy luận mô hình lớn, cung cấp nền tảng tính toán ổn định cho các ứng dụng liên quan.

Liên tục thúc đẩy nghiên cứu phát triển chip suy luận AI và hệ thống tính toán

Theo kế hoạch dự án, cụm tính toán suy luận AI này sẽ được xây dựng thành 3 giai đoạn, sử dụng card tăng tốc suy luận nội địa tự phát triển của YunTian LiFei.

Giai đoạn một sẽ triển khai card tăng tốc suy luận X6000 của YunTian LiFei; trong tương lai, sẽ ưu tiên trang bị các sản phẩm chip thế hệ mới nhất của công ty.

Trong lĩnh vực phát triển chip suy luận AI, YunTian LiFei đang liên tục mở rộng các công nghệ phù hợp với các giai đoạn suy luận khác nhau. Theo chiến lược của công ty, trong tương lai sẽ lần lượt ra mắt các sản phẩm chip tối ưu cho giai đoạn Prefill, cũng như các chip suy luận đáp ứng yêu cầu độ trễ thấp của giai đoạn Decode, đồng thời tối ưu hóa phối hợp hệ thống để nâng cao hiệu quả suy luận tổng thể.

Trong đó, chip Prefill đầu tiên của công ty, DeepVerse100, dành cho các kịch bản suy luận ngữ cảnh dài hạn dự kiến sẽ hoàn thành thử nghiệm mạch trong năm nay và dự kiến sẽ được triển khai trong các hệ thống tính toán liên quan.

Về kế hoạch công nghệ dài hạn, công ty đề ra “Kế hoạch 1001”, với mục tiêu dài hạn là “trăm tỷ token chỉ với một đồng”, nhằm giảm chi phí suy luận mô hình lớn thông qua tối ưu hóa phối hợp kiến trúc chip và hệ thống tính toán, thúc đẩy giảm chi phí suy luận mô hình lớn liên tục.

Trong tương lai, công ty sẽ tiếp tục đẩy mạnh nghiên cứu phát triển các công nghệ liên quan đến chip suy luận AI, thúc đẩy công nghệ trí tuệ nhân tạo phổ cập và ứng dụng rộng rãi trong nhiều ngành nghề.