Ngưỡng phần cứng để tự chạy Kimi K3 tại nhà? Cần tối thiểu 64 GPU, mức tiêu thụ điện 45 kW — người chơi tự lắp dựng đã “out”

Moonshot AI 本週發布 Kimi K3, với 2,8 nghìn tỷ tổng tham số, trở thành mô hình trọng số mã nguồn mở lớn nhất từng có; dự kiến toàn bộ trọng số sẽ được đưa lên nền tảng trước ngày 27/7. Hướng dẫn triển khai chính thức nêu rõ: tự vận hành tối thiểu cần ít nhất 64 bộ tăng tốc; với người chơi cá nhân, có hai lựa chọn là dùng dòng K2 gia tộc hoặc gọi trực tiếp API chính thức.
（Tóm tắt trước đó: Moonshot AI sắp ra mắt Kimi K3! Có 2,8 nghìn tỷ tham số và chuỗi văn bản dài hàng triệu token, hiệu năng tiệm cận Anthropic Opus 4,8）
（Bổ sung bối cảnh: Máy tính của tôi có thể chạy cục bộ mô hình AI không? CanIRun.ai sẽ giúp bạn phân tích nhanh）

Mục lục

Toggle

• MoE là gì?
• Ngưỡng chính thức: bắt đầu từ 64 GPU
• Thế hệ trước còn nhét vừa vào một máy tính

Vào đầu tuần này, Moonshot AI (mặt tối của mặt trăng/ 月之暗面) công bố Kimi K3, tổng tham số đạt 2,8 nghìn tỷ, là mô hình trọng số mã nguồn mở lớn nhất trong lịch sử. Chỉ riêng việc lưu 2,8 nghìn tỷ tham số đó lên ổ cứng, với định dạng native 4 bit của chính hãng (MXFP4), cần khoảng 1,4TB đến 1,5TB dung lượng, và đây vẫn chưa bắt đầu chạy suy luận. Với đa số người dùng, ngưỡng này cực kỳ, cực kỳ cao.

Moonshot AI cho biết toàn bộ trọng số mã nguồn mở dự kiến sẽ được đưa lên trước ngày 27/7, theo giấy phép Modified-MIT, cho phép tự mình tự triển khai. Tính đến thời điểm chốt bài, toàn bộ trọng số và các bản lượng tử hóa cho cộng đồng (ví dụ GGUF) vẫn chưa xuất hiện.

MoE là gì?

Kimi K3 sử dụng kiến trúc MoE (Mixture of Experts - hỗn hợp chuyên gia). Nói đơn giản: mô hình nuôi 896 “chuyên gia” là các mạng con; mỗi lần xử lý một token, hệ thống chỉ chọn 16 chuyên gia định tuyến cộng với phép tính của chuyên gia dùng chung, không tính hết tất cả, và đây là lý do số tham số thực sự “đang hoạt động” chỉ khoảng 50 đến 60 tỷ.

Mô hình cũng dùng kiến trúc mới Kimi Delta Attention (KDA), đồng thời kết hợp Attention Residuals; đánh giá nội bộ của hãng cho biết trong ngữ cảnh dài hàng triệu token, tốc độ giải mã tối đa tăng 6,3 lần; cửa sổ ngữ cảnh đạt 1 triệu token và cũng hỗ trợ đầu vào hình ảnh ngay từ bản gốc.

Ngưỡng chính thức: bắt đầu từ 64 GPU

Hướng dẫn triển khai chính thức của Moonshot AI ghi rõ: tự dựng K3 cần ít nhất 64 bộ tăng tốc trở lên. Trọng số native MXFP4 vào khoảng 1,5TB, tương đương 3,7 lần so với DeepSeek-R1 671B (lượng tử Q4 khoảng 407GB). Nếu chỉ quy đổi số thẻ GPU để lưu trọng số:

• H100 (80GB): khoảng 19 thẻ
• H200 (141GB): khoảng 11 thẻ
• B200 (192GB): khoảng 8 thẻ

Và điều này còn chưa tính KV cache, tức bộ nhớ mà mô hình dùng để ghi nhớ ngữ cảnh hội thoại; với chuỗi ngữ cảnh dài 1 triệu token, yêu cầu KV cache phía chính thức hiện chưa công bố, nhưng chắc chắn sẽ còn nhiều hơn chứ không ít hơn.

Về giá: H100 80GB mỗi thẻ khoảng 25 nghìn đến 33 nghìn USD (PCIe); phiên bản SXM khoảng 35 nghìn đến hơn 40 nghìn USD. Một máy chủ 8 thẻ H100 có giá trên 300 nghìn USD. Theo ngưỡng 64 thẻ của chính thức, tương đương 8 máy chủ 8 thẻ; chỉ riêng phần mua phần cứng đã vượt 2,4 triệu USD, tương đương khoảng hơn 70 triệu TWD.

Về điện năng: mỗi H100 khoảng 700W; 64 thẻ GPU tiêu thụ khoảng 45kW, cao hơn rất nhiều so với công suất cấp điện của một gia đình phổ thông, thuộc mức tiêu thụ của phòng máy.

Thế hệ trước còn nhét vừa vào một máy tính

So với thế hệ trước là dòng K2 (1 nghìn tỷ tham số, khoảng 32 tỷ tham số kích hoạt), cảm nhận càng rõ. Cộng đồng thực hiện lượng tử hóa cực hạn 1,8 bit cho K2; chỉ cần khoảng 247GB là có thể chạy được trên thực tế, và chỉ với một card đồ họa 24GB tầm tiêu dùng cộng thêm bộ nhớ hệ thống có thể chạy; với K2.5 cần hơn 380GB bộ nhớ hợp nhất, còn phiên bản Q2 của K2.6 khoảng cần 350GB.

Thế hệ trước, một máy Mac Studio 512GB chạy được ở mức “vừa đủ”; còn K3 thì đẩy thẳng ngưỡng lên cấp độ trung tâm dữ liệu. Với người dùng bán lẻ nếu muốn dùng, thì cứ hạ cấp xuống dòng K2 hoặc gọi trực tiếp API chính thức thôi.