Seuil matériel pour faire tourner Kimi K3 en local ? Départ à partir de 64 GPU, consommation de 45 kW, les joueurs doivent tout monter eux-mêmes et se retrouver exclus

月之暗面本週發表 Kimi K3，以 2,8 兆總參數成為史上最大的開源權重模型，完整權重預計 7 月 27 日前上架。官方部署指引寫明，自架至少要 64 張加速器；單機玩家剩 K2 家族，或走官方 API 兩條路。
（前情提要：月之暗面 Moonshot AI 即將推出 Kimi K3！具備 2,8 兆參數與百萬長文本，性能直逼 Anthropic Opus 4.8）
（背景補充：我的電腦可以本地運行 AI 模型嗎？CanIRun.ai 幫你快速分析）

本文目錄

Toggle

• MoE 是什麼？
• 官方門檻：64 張 GPU 起跳
• 上一代還塞得進一台電腦

本週稍早，月之暗面（Moonshot AI）發表 Kimi K3，總參數達到 2,8 兆，是史上最大的開源權重模型。光是要把這 2,8 兆個參數存進硬碟，用官方原生的 4 bit 格式（MXFP4）就需要 1,4 TB 到 1,5 TB 空間，且這還沒開始跑推論。對於一般人來說的門檻非常非常高。

月之暗面表示，完整開源權重預計 7 月 27 日前上架，採用 Modified-MIT 授權，允許自行架設。截稿當下，完整權重與社群量化版本（例如 GGUF）都還沒出現。

MoE 是什麼？

Kimi K3 採用 MoE（混合專家）架構。簡單來說就是，模型內部養了 896 個「專家」子網路，每次處理一個 token，系統只挑其中 16 個路由專家加上共享專家運算，不會全部算一遍，這也是為什麼實際「醒著」工作的參數只有 50 億到 60 億。

模型還採用新架構 Kimi Delta Attention（KDA），另搭配 Attention Residuals；官方自評在百萬 token 長上下文下，解碼速度最高提升 6,3 倍，上下文視窗達 100 萬 token，也原生支援視覺輸入。

官方門檻：64 張 GPU 起跳

月之暗面官方部署指引寫明，自架 K3 至少需要 64 張以上的加速器。原生 MXFP4 權重約 1,5 TB，是 DeepSeek-R1 671B（Q4 量化約 407 GB）的 3,7 倍。單純換算放權重需要幾張 GPU：

• H100（80GB）：約 19 張
• H200（141GB）：約 11 張
• B200（192GB）：約 8 張

且這還沒算 KV cache，也就是模型記住對話上下文用的記憶體；100 萬 token 長上下文的 KV cache 需求官方尚未公布，但只會更多不會更少。

價格上，H100 80GB 單張約 2,5 萬到 3,3 萬美元（PCIe），SXM 版 3,5 萬到 4 萬美元以上；8 卡 H100 伺服器一台超過 30 萬美元。按官方 64 張門檻，等於 8 台 8 卡伺服器，光硬體採購就超過 240 萬美元，約新台幣 7 000 萬以上。

功耗上，H100 單張約 700W，64 張光 GPU 就約 45 kW，遠超一般家庭供電容量，是機房等級的用電。

上一代還塞得進一台電腦

對照上一代 K2 家族（1 兆參數，約 320 億啟用參數）更有感。社群替 K2 做出的 1,8 bit 極限量化，約 247 GB 即可硬跑，一張 24GB 消費級顯卡搭配系統記憶體卸載也能動；K2.5 需超過 380GB 統一記憶體，K2.6 的 Q2 版本約需 350GB。

上一代一台 512GB 的 Mac Studio 勉強跑得動，而 K3 則直接把門檻推回資料中心等級。對於一般散戶如果想使用，就乖乖降級使用 K2 家族或直接呼叫官方 API 吧。