黃仁勳、Kimi K3,以及一場即將到來的開源戰爭

作者:數字生命卡茲克

你要說最近 AI 產業裡,最熱的、被討論最多的一件事。那必然就是一個由老黃、Anthropic、kimi、開源,這幾個看著風牛馬不相及的 4 個詞,共同串起的故事。故事是這樣的。前幾天,7 月 24 日,黃仁勳發了自己在 X 上的第一篇帖子。

這個 AI 圈可能最火的男人,為了發這封公開信,不惜註冊了個 X。這封信的名字叫《Open Weights and American AI Leadership》,開放權重與美國 AI 领导力。

大概意思就是,AI 會改造每一個行業,驅動每一家公司,也會被每一個國家建設。開放模型能強化安全、加快創新,也能帶來技術主權。這個世界既需要最前沿的閉源模型,也需要最前沿的開放模型。咱們不能制裁開源模型啊。老黃之所以這麼操碎了心,其實是有前情提要的。我們把時間撥回 11 天前,那天有一個標誌性的事件發生。7 月 17 日凌晨,Kimi K3 正式發布。

2.8 萬億總參數,1040 億激活參數,原生視覺能力,100 萬 Token 上下文。

最關鍵的是,Kimi 當時就承諾,模型權重會在 7 月 27 日(也就是昨晚)正式開源。

這,是全球首個開源的 3T 級模型。一個中國團隊,在算力遠沒有那麼寬裕的情況下,做出了一个能力逼近全球最強閉源模型的東西,還要把權重交給全世界。

這一下子,美國那邊的氣氛就變得不對勁了。7 月 22 日,美國白宮科技政策辦公室负责人 Michael Kratsios 公開指控月之暗面,聲稱 Kimi K3 的開發使用了對 Claude Fable 5 的大規模蒸餾。

不過有趣的是評論區。大家可以看看群眾的呼聲。

然後呢,美國財政部長好死不死,火上澆油,又提到了貿易黑名單和制裁。

評論區這下徹底淪陷了。

這個事越鬧越大,眼看著一場原本關於模型能力和開源路線的競爭,迅速被拖進了知識產權、國家安全、出口管制和中美科技競爭裡。也就在這個時間點,黃仁勳站出來了。

他接受採訪,公開反對封禁中國開源模型。

兩天以後,他發出了人生第一條 X,用一封公開信告訴華盛頓,開放模型關乎美國的創新、競爭、安全和技術主權,你不能封禁,不能制裁,我們得鼓勵開源。

講道理,老黃為了賣卡,真的是操碎了心。然後呢,在最下面,一個很長的 Logo 牆被貼了出來,整個科技行業開始排隊在公開信上簽名。公開信剛發佈的時候,簽名的有 25 家公司和組織。

英偉達、微軟、Meta、IBM、戴爾、Palantir、Mistral、Hugging Face 等等等等。

到了週末,名單開始瘋狂變長。

OpenAI 來了,Google 來了,SpaceX 來了,AMD、Cisco、Cloudflare、GitHub、Linux Foundation、Mozilla、Vercel、Y Combinator、OpenClaw 等等,也全都來了。

到我寫這篇文章的時候,已經有 77 個簽署者了。

也有無數的大佬瘋狂打 Call 站台。

好久好久好久沒見過這麼集結,一起起義,同仇敵愾的了。但是如果細心的朋友就會發現,上面那個 logo 牆,幾乎集結了美國絕大多數的前沿科技公司,甚至英偉達和 AMD 都世紀同框了,但是你會發現,莫名其妙的怎麼缺了一个熟悉的名字。Anthropic。我覺得這張世界名畫可以改名叫《Anthropic 在哪裡?》。甚至有網友直接惡搞做了一個影片,我笑蒙了,我必須要給大家看看。 已關注

而就在 Anthropic 裝死,美國科技巨頭們聯手推特上書起義之時。本次事件的導火索,在昨晚,也就是 7 月 27 日晚上 23 點 13 分,正式官宣了 Kimi K3 開源。

而且這個開源程度,遠超乎我的意料。我本來以為只是開源模型權重而已。

結果。

模型權重,開源。

詳細的技術報告,也放出來了。

訓練 K3 用到的關鍵 Infra,也開源。

全都開。。。

我大概列舉一下。

Kimi K3 模型權重,一個 2.8 萬億參數的 MoE 模型,一共有 896 個專家,每個 Token 激活其中 16 個。

然後是 K3 完整的技術報告,一共 47 頁。

這裡面公開了 KDA 和 Attention Residuals 的架構細節,解釋了他們如何用 3 比 1 的比例混合 KDA 與 Gated MLA,如何讓資訊跨越幾十層繼續流動。

還有 Stable LatentMoE。

896 個專家只激活 16 個,稀疏程度高得離譜,Kimi 又用 SiTU GLU、Quantile Balancing 這一整套方法,把这种極端稀疏的訓練維持在穩定狀態。

還有 MoonViT V2、百萬 Token 上下文的強化學習基礎設施、大規模任務合成、後訓練方法,接近 20 個內部評測集的完整結果也放了出來。

這個技術報告很詳細和紮實,推薦一讀。

除了技術報告之外,還有開源的關鍵 infra 技術。

MoonEP,一套專門為超大規模 MoE 打造的專家並行通訊庫。

MoE 訓練時,經常會出現某些專家忙得要死,某些專家閒得發慌,最後所有 GPU 都得等最忙的那一張卡。

MoonEP 會根據當前路由結果,動態複製一小部分熱門專家,讓每張卡收到完全一樣數量的 Token,同時維持靜態記憶體形狀,避免訓練越跑越碎,最後直接 OOM。

這已經屬於超大模型訓練裡非常底層、非常值錢的東西了。

FlashKDA,Kimi Delta Attention 的高性能算子。

它用 CUTLASS 實現,在英偉達 H20 上,相比 flash linear attention 基線,prefill 速度提升了 1.85 倍到 2.31 倍,還可以直接接進現有的 flash linear attention 後端。

再往下,還有 AgentENV。

這是 Kimi 和 KVCache.ai 一起做的分布式 Agent 沙箱系統,也是 K3 做大規模 Agent 強化學習時真正跑環境的那層底座。

它可以在一堆機器上同時啟動海量 Firecracker 微虛擬機,環境恢復低於 50 毫秒,暫停低於 100 毫秒,原生支援快照、恢復和 fork。

一個 Agent 跑到某個關鍵節點以後,可以直接分叉成幾十條互不干擾的軌跡,繼續並行探索。

雖然我對底層技術不是很了解,只是紙上談兵的一些淺薄知識,但是從這幾個技術來看,我覺得已經能感受到真香了。

真的就是掏老底了。

MoonEP 解決超大 MoE 模型的通訊和負載。

FlashKDA 解決新注意力架構的算子效率。

AgentENV 解決 Agent 強化學習需要的海量真實環境。

開源社群要起飛了。

如今,我願將 Kimi 和 DeepSeek 並稱為開源二聖。

我也讀了一下這次 Kimi K3 的許可證。

普通研究者、開發者和公司,可以免費使用、複製、修改、部署、微調、分發,也可以做衍生產品和商業化。

它只給超大規模商業使用留了兩道門檻。

如果你做模型服務生意,公司及關聯方連續 12 個月總收入超過 2000 萬美元,需要另行和月之暗面簽協議。

如果使用 K3 的商業產品月活超過 1 億,或者單月收入超過 2000 萬美元,產品介面需要顯著展示 Kimi K3。

對,需要顯著展示 Kimi K3 就行。

菩薩啊。。。

已經有人說,如果 Kimi K3 能給他帶來單月 2000 萬美元的收入,別說顯著展示 Kimi K3 的品牌標識了。

他可以把 Kimi 的 logo 紋在屁股上,甚至可以紋兩個。

今晚,隨著 Kimi K3 的開源,我感覺把整個事件,推向了最終的高潮,輿論基本一邊倒。 也在 Hugging Face 中,創造了歷史。

這一刻,美國的態度,和 Kimi K3 開源,有了一種神奇的化學反應。

未來,這件事有可能被史稱為:

AI 產業的薩拉熱窩事件。

這個世界,需要開源。

老黃他們擁抱開源,當然除了理想之外,還有很多金錢的氣息。

2002 年,Joel Spolsky 寫過一個很經典的商業規律,叫 Commoditize Your Complements,把你的互補品變成商品。一个東西的互補品越便宜,人們對这个东西的需求就越大。

英偉達賣 GPU。

開源模型越多,全球就有越多公司願意自己部署、自己微調、自己訓練,最後需要的 GPU 也越多。

AMD、戴爾、雲計算公司、推理服務商,邏輯差不多。

GitHub、Vercel、Replit、LangChain、OpenClaw 这些開發工具和應用平台,也天然希望底層模型越來越多、越來越便宜、越來越容易替換。

因為模型成本每降一塊錢,應用層就多出一塊錢的空間。

老黃堅定的相信開源,以及老黃是開源模型的最大受益者之一,這兩件事不衝突的。但是我堅定的相信、也擁抱開源。原因也特別簡單,因為,我是個普通人。這輩子,我可能都訓練不起 K3 這樣的模型,我沒有幾萬張卡,我什麼都不懂,技術報告裡的公式,我都只能在 AI 的加持下勉勉強強看懂一點點。但是不妨礙我,今天,踩在無數前人開源的工作、框架還有模型上,來創作我自己的作品。普通人能參與每一次技術革命,靠的其實就是前面那些前輩,願意把終點留下來,給後來的人,当起點。我們沒有突然變成天才。

我們只是,不用從零再走一遭。

開源真正厲害的力量就在這裡。

一個團隊花掉巨大的算力、無數大佬熬了很久才得到的東西,一旦公開,第二天就會成為全世界無數普通人的公共起點。

我覺得,這就是文明的複利。

最後,向所有為人類世界、開源世界、AI世界的大佬們。

致以我最崇高的敬意。

謝謝你們。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆