Batas perangkat keras Kimi K3 untuk dipasang lokal? Mulai dari 64 GPU, konsumsi listrik 45 kW, pemain harus menanggung sendiri sehingga tersisih

本週稍早，月之暗面（Moonshot AI）發表 Kimi K3，以 2,8 triliun total參數成為史上最大開源權重模型，完整權重預計 7 月 27 日前上架。官方部署指引寫明，自架至少要 64 張加速器，單機玩家剩 K2 家族或官方 API 兩條路。
（前情提要：月之暗面 Moonshot AI 即將推出 Kimi K3！具備 2,8 triliun 參數與百萬長文本，性能直逼 Anthropic Opus 4.8）
（背景補充：我的電腦可以本地運行 AI 模型嗎？CanIRun.ai 幫你快速分析）

本文目錄

Toggle

• MoE 是什麼？
• 官方門檻：64 張 GPU 起跳
• 上一代還塞得進一台電腦

本週稍早，月之暗面（Moonshot AI）發表 Kimi K3，總參數達到 2,8 triliun，是史上最大的開源權重模型。光是要把這 2,8 triliun 個參數存進硬碟，用官方原生的 4 bit 格式（MXFP4）就需要 1,4 TB 到 1,5 TB 空間，且這還沒開始跑推論。對於一般人來說的門檻非常非常高。

月之暗面表示，完整開源權重預計 7 月 27 日前上架，採用 Modified-MIT 授權，允許自行架設。截稿當下，完整權重與社群量化版本（例如 GGUF）都還沒出現。

MoE 是什麼？

Kimi K3 採用 MoE（混合專家）架構。簡單來說就是，模型內部養了 896 個「專家」子網路，每次處理一個 token，系統只挑其中 16 個路由專家加上共享專家運算，不會全部算一遍，這也是為什麼實際「醒著」工作的參數只有 500 億到 600 億。

模型還採用新架構 Kimi Delta Attention（KDA），另搭配 Attention Residuals；官方自評在百萬 token 長上下文下，解碼速度最高提升 6,3 倍，上下文視窗達 100 萬 token，也原生支援視覺輸入。

官方門檻：64 張 GPU 起跳

月之暗面官方部署指引寫明，自架 K3 至少需要 64 張以上的加速器。原生 MXFP4 權重約 1,5TB，是 DeepSeek-R1 671B（Q4 量化約 407GB）的 3,7 倍。單純換算放權重需要幾張 GPU：

• H100（80GB）：約 19 張
• H200（141GB）：約 11 張
• B200（192GB）：約 8 張

且這還沒算 KV cache，也就是模型記住對話上下文用的記憶體；100 萬 token 長上下文的 KV cache 需求官方尚未公布，但只會更多不會更少。

價格上，H100 80GB 單張約 2,5 萬到 3,3 萬美元（PCIe），SXM 版 3,5 萬到 4 萬美元以上；8 卡 H100 伺服器一台超過 30 萬美元。按官方 64 張門檻，等於 8 台 8 卡伺服器，光硬體採購就超過 240 萬美元，約新台幣 7.000 萬以上。

功耗上，H100 單張約 700W，64 張光 GPU 就約 45kW，遠超一般家庭供電容量，是機房等級的用電。

上一代還塞得進一台電腦

對照上一代 K2 家族（1 兆參數，約 320 億啟用參數）更有感。社群替 K2 做出的 1,8 bit 極限量化，約 247GB 即可硬跑，一張 24GB 消費級顯卡搭配系統記憶體卸載也能動；K2.5 需超過 380GB 統一記憶體，K2.6 的 Q2 版本約需 350GB。

上一代一台 512GB 的 Mac Studio 勉強跑得動，而 K3 則直接把門檻推回資料中心等級。對於一般散戶如果想使用，就乖乖降級使用 K2 家族或直接呼叫官方 API 吧。