作者：Climber，CryptoPulse Labs
7月16日，月之暗面正式推出新一代開源模型Kimi K3。模型擁有2.8萬億參數、100萬Token上下文窗口，原生支持視覺理解，並採用Kimi Delta Attention和Attention Residuals等技術。
這是全球首個3萬億級別的開源模型，雖然Kimi K3整體表現仍落後於Claude Fable 5和GPT-5.6 Sol等最強閉源模型，但其在多項評測中展現出前沿水平，月之暗面稱其整體表現穩定超過其他測試模型。
更值得關注的是，Kimi K3還自主完成了一款晶片的設計。一個大模型，開始嘗試設計運行AI所需要的硬體，這或許比2.8萬億參數本身更值得關注。
過去幾年，大模型產業最容易被理解的指標就是參數量。從幾十億到千億，再到萬億，參數規模幾乎成為衡量模型能力的重要符號。
但當模型規模達到2.8萬億參數之後，真正的問題已不再是「模型有多大」，而是：如此龐大的模型如何訓練？每次任務到底需要多少參數參與計算？如何讓模型擁有更強能力，同時控制運行成本？
Kimi K3給出的答案，是進一步擴大稀疏化架構。
據月之暗面介紹，Kimi K3採用Mixture of Experts，也就是混合專家架構。模型擁有896個專家模組，但每次任務只啟動其中16個專家。
這意味著，模型可以擁有巨大的知識容量，但不需要每次都呼叫全部參數。就像一座擁有896個專業部門的超級機構，面對不同問題時，只需要調動最相關的16個部門。
這種架構的核心價值在於，模型的總規模和單次計算成本可以被分離。
未來，大模型的競爭不一定是誰擁有更多參數，而是誰能讓更多參數以更低成本被有效呼叫。
Kimi K3的另一項核心創新是Kimi Delta Attention，也就是KDA。傳統Transformer架構在處理超長文本時，計算量和記憶體壓力會明顯增加。KDA的目標，就是提升模型處理長序列資訊的效率。
同時，Kimi K3引入了Attention Residuals，也就是注意力殘差機制。傳統模型通常會依照層級逐步傳遞資訊，資訊不斷累積到後面的層，但也可能出現冗餘和衰減。
Attention Residuals則試圖讓模型跨越不同深度，選擇性呼叫更早階段的資訊。
如果說傳統模型的資訊流像一條從起點流向終點的河流，那麼Attention Residuals更像是在沿途建立一套資訊檢索系統，模型可以依照任務重新呼叫不同深度的資訊。
月之暗面表示，相較Kimi K2，Kimi K3實現了約2.5倍的整體擴展效率提升。
這說明，AI產業正在從「規模越大越強」，轉向「如何將更大的規模轉化為更高的效率」。
Kimi K3的意義，也不只是推出一個2.8萬億參數模型，而是進一步提高開源模型的規模上限。
過去，開源模型更多被視為閉源模型的追趕者。如今，開源模型開始嘗試證明：超大規模模型同樣可以被公開、被研究、被二次開發。
如果說2.8萬億參數是Kimi K3最容易傳播的標籤，那麼它真正的產品方向，其實是長程任務。
過去的AI助手，大多時候是在回答問題。使用者提出問題，模型給出答案。讓它寫程式，它返回程式碼。讓它總結文章，它生成摘要。
但現實中的複雜工作，往往不是一次問答就能完成的。
一位研究員可能需要閱讀論文、整理資料、建立模型、執行實驗、分析結果，然後撰寫報告。一位程式員可能需要閱讀大量檔案、理解專案結構、修改程式碼執行測試、定位錯誤並不斷迭代。
這些任務的共同特點是週期長、步驟多、資訊量大，並且需要根據中間結果不斷調整下一步行動，而這正是Kimi K3試圖解決的問題。
月之暗面展示的案例中，Kimi K3曾完成一項計算天體物理學研究任務。透過閱讀並交叉驗證20多篇論文，完成數值計算，實現數百個狀態方程的評估，發現已發表公式中的不一致，並生成3000多行Python程式碼和互動式HTML儀表板。
官方稱這項任務大約耗時兩小時，而傳統情況下可能需要一到兩週、由經驗豐富的研究人員完成。
這並不意味著AI已經可以取代研究人員，科研工作的最重要部分往往是提出問題、判斷假設和解釋結果。
但Kimi K3展示了一個重要變化，AI正在從幫助人類完成某個步驟，逐漸轉向自主完成整套工作流程。這正是Agent時代與傳統聊天機器人時代的差別。
傳統聊天機器人解決的是你問什麼，我回答什麼。而Agent解決的是你告訴我目標，我自己拆解任務、呼叫工具、執行步驟、檢查結果，並不斷修正。
Kimi K3的100萬Token上下文窗口，在這個過程中具有重要意義。
對於大型程式碼倉庫、研究報告、企業資料以及複雜的專案文件而言，模型能一次性理解更多資訊，意味著它不需要頻繁遺忘上下文，也不需要使用者不斷重複背景。
同時Kimi K3原生支援視覺理解，讓AI可以形成更完整的工作閉環。
例如AI撰寫程式碼後，可以查看網頁執行結果；AI製作PPT後，可以檢查頁面版面；AI生成內容後，也可以透過視覺回饋判斷結果。
過去的AI更像是在閉著眼睛寫程式，未來的AI則可以形成理解任務、生成結果、觀察結果、發現問題、修改結果。
月之暗面也將Kimi能力延伸到Kimi Work、Kimi Code和Kimi API等情境，分別面向研究、文件、簡報、表格、儀表板以及複雜的程式設計任務。
未來，真正具有商業價值的AI，可能不再是回答問題最多的模型，而是能完成工作最多的模型。
傳統軟體要求使用者學習複雜的操作流程，而AI Agent的目標，是把搜尋、資料庫、程式設計、資料分析和辦公工具串接起來，讓使用者只需要描述最終目標。
這意味著未來軟體產業的競爭可能不再是誰擁有更多工具，而是誰擁有更強的AI執行系統。
Kimi K3最令人震撼的部分，可能是它自主完成晶片設計。
根據月之暗面披露的資訊，Kimi K3在一次48小時的自主運行中，使用開源EDA工具和Nangate 45nm工藝程式庫，完成了一款面向自身架構小型模型的晶片設計、優化和驗證。
這並不意味著Kimi K3已經能夠獨立完成現代先進製程AI晶片的商業化量產。45nm工藝與今天最先進的AI加速器之間存在巨大差距，晶片從設計到量產還涉及複雜的IP、工藝、製造、封裝和供應鏈體系。
但這一嘗試依然具有重要意義，因為晶片設計不是簡單寫程式，而是需要處理邏輯設計、綜合、佈局布線、時序分析、功耗最佳化和物理驗證等多個環節。
過去，AI在晶片產業更多是輔助工程師完成局部任務，例如最佳化佈局、預測時序、發現設計缺陷。
而Kimi K3展示的是另一種可能：AI不再只是使用工具，而是開始自主組織工具完成完整工程流程。
這和AI寫程式的發展路徑非常相似。早期AI只能生成一小段程式碼，後來可以編寫完整程式，再後來能夠讀取程式碼倉庫、執行測試並修復Bug。如今，AI開始嘗試設計運行AI所需要的硬體。
這可能形成一個新的AI自我增強循環：AI協助設計更強的晶片、更強的晶片訓練出更強的模型、更強的模型又幫助設計下一代晶片。
更值得注意的是，Kimi K3還展示了自主開發GPU程式設計系統的能力。
月之暗面披露，Kimi K3開發了MiniTriton，一個類似Triton的緊湊型編譯器系統，包括自己的中間表示層、最佳化流程和PTX程式碼生成流程。
這說明AI能力的邊界正在從使用軟體進一步擴展到創造軟體工具。
未來，模型本身可能直接參與晶片最佳化、編譯器開發、運算子適配和系統調優，這可能是Kimi K3最重要的策略價值。
它不只是個模型產品，而是在探索一種AI-native的研發模式。從模型到編譯器，從演算法到晶片，從資料到應用，AI逐漸成為整個基礎設施的一部分。
當然，AI自主設計的晶片仍需嚴格驗證，AI生成的科研成果也需要專業人士審查，AI自主執行複雜任務時同樣可能出現錯誤。
但Kimi K3已釋放出一個重要訊號：AI正在從被創造的對象，逐漸成為參與創造下一代AI的主體。
Kimi K3的發佈，表面上是一次模型升級，背後卻代表大模型競爭邏輯的變化。
從更大的參數規模，到更有效率的架構。從回答問題到完成複雜工作，再到自主開發編譯器、設計晶片，AI正在逐漸參與創造下一代AI。
2.8萬億參數或許只是個數字，真正值得關注的是AI開始嘗試設計自己的未來。
134.36萬 熱度
71.39萬 熱度
23.37萬 熱度
96.73萬 熱度
2914.62萬 熱度
2.8 萬億參數只是開始：Kimi K3 正在把大模型競爭推向「AI 製造 AI」
作者：Climber，CryptoPulse Labs
7月16日，月之暗面正式推出新一代開源模型Kimi K3。模型擁有2.8萬億參數、100萬Token上下文窗口，原生支持視覺理解，並採用Kimi Delta Attention和Attention Residuals等技術。
這是全球首個3萬億級別的開源模型，雖然Kimi K3整體表現仍落後於Claude Fable 5和GPT-5.6 Sol等最強閉源模型，但其在多項評測中展現出前沿水平，月之暗面稱其整體表現穩定超過其他測試模型。
更值得關注的是，Kimi K3還自主完成了一款晶片的設計。一個大模型，開始嘗試設計運行AI所需要的硬體，這或許比2.8萬億參數本身更值得關注。
一、2.8萬億參數背後：大模型競爭從規模走向效率
過去幾年，大模型產業最容易被理解的指標就是參數量。從幾十億到千億，再到萬億，參數規模幾乎成為衡量模型能力的重要符號。
但當模型規模達到2.8萬億參數之後，真正的問題已不再是「模型有多大」，而是：如此龐大的模型如何訓練？每次任務到底需要多少參數參與計算？如何讓模型擁有更強能力，同時控制運行成本？
Kimi K3給出的答案，是進一步擴大稀疏化架構。
據月之暗面介紹，Kimi K3採用Mixture of Experts，也就是混合專家架構。模型擁有896個專家模組，但每次任務只啟動其中16個專家。
這意味著，模型可以擁有巨大的知識容量，但不需要每次都呼叫全部參數。就像一座擁有896個專業部門的超級機構，面對不同問題時，只需要調動最相關的16個部門。
這種架構的核心價值在於，模型的總規模和單次計算成本可以被分離。
未來，大模型的競爭不一定是誰擁有更多參數，而是誰能讓更多參數以更低成本被有效呼叫。
Kimi K3的另一項核心創新是Kimi Delta Attention，也就是KDA。傳統Transformer架構在處理超長文本時，計算量和記憶體壓力會明顯增加。KDA的目標，就是提升模型處理長序列資訊的效率。
同時，Kimi K3引入了Attention Residuals，也就是注意力殘差機制。傳統模型通常會依照層級逐步傳遞資訊，資訊不斷累積到後面的層，但也可能出現冗餘和衰減。
Attention Residuals則試圖讓模型跨越不同深度，選擇性呼叫更早階段的資訊。
如果說傳統模型的資訊流像一條從起點流向終點的河流，那麼Attention Residuals更像是在沿途建立一套資訊檢索系統，模型可以依照任務重新呼叫不同深度的資訊。
月之暗面表示，相較Kimi K2，Kimi K3實現了約2.5倍的整體擴展效率提升。
這說明，AI產業正在從「規模越大越強」，轉向「如何將更大的規模轉化為更高的效率」。
Kimi K3的意義，也不只是推出一個2.8萬億參數模型，而是進一步提高開源模型的規模上限。
過去，開源模型更多被視為閉源模型的追趕者。如今，開源模型開始嘗試證明：超大規模模型同樣可以被公開、被研究、被二次開發。
二、從聊天機器人到數位員工：Kimi K3瞄準的是複雜工作
如果說2.8萬億參數是Kimi K3最容易傳播的標籤，那麼它真正的產品方向，其實是長程任務。
過去的AI助手，大多時候是在回答問題。使用者提出問題，模型給出答案。讓它寫程式，它返回程式碼。讓它總結文章，它生成摘要。
但現實中的複雜工作，往往不是一次問答就能完成的。
一位研究員可能需要閱讀論文、整理資料、建立模型、執行實驗、分析結果，然後撰寫報告。一位程式員可能需要閱讀大量檔案、理解專案結構、修改程式碼執行測試、定位錯誤並不斷迭代。
這些任務的共同特點是週期長、步驟多、資訊量大，並且需要根據中間結果不斷調整下一步行動，而這正是Kimi K3試圖解決的問題。
月之暗面展示的案例中，Kimi K3曾完成一項計算天體物理學研究任務。透過閱讀並交叉驗證20多篇論文，完成數值計算，實現數百個狀態方程的評估，發現已發表公式中的不一致，並生成3000多行Python程式碼和互動式HTML儀表板。
官方稱這項任務大約耗時兩小時，而傳統情況下可能需要一到兩週、由經驗豐富的研究人員完成。
這並不意味著AI已經可以取代研究人員，科研工作的最重要部分往往是提出問題、判斷假設和解釋結果。
但Kimi K3展示了一個重要變化，AI正在從幫助人類完成某個步驟，逐漸轉向自主完成整套工作流程。這正是Agent時代與傳統聊天機器人時代的差別。
傳統聊天機器人解決的是你問什麼，我回答什麼。而Agent解決的是你告訴我目標，我自己拆解任務、呼叫工具、執行步驟、檢查結果，並不斷修正。
Kimi K3的100萬Token上下文窗口，在這個過程中具有重要意義。
對於大型程式碼倉庫、研究報告、企業資料以及複雜的專案文件而言，模型能一次性理解更多資訊，意味著它不需要頻繁遺忘上下文，也不需要使用者不斷重複背景。
同時Kimi K3原生支援視覺理解，讓AI可以形成更完整的工作閉環。
例如AI撰寫程式碼後，可以查看網頁執行結果；AI製作PPT後，可以檢查頁面版面；AI生成內容後，也可以透過視覺回饋判斷結果。
過去的AI更像是在閉著眼睛寫程式，未來的AI則可以形成理解任務、生成結果、觀察結果、發現問題、修改結果。
月之暗面也將Kimi能力延伸到Kimi Work、Kimi Code和Kimi API等情境，分別面向研究、文件、簡報、表格、儀表板以及複雜的程式設計任務。
未來，真正具有商業價值的AI，可能不再是回答問題最多的模型，而是能完成工作最多的模型。
傳統軟體要求使用者學習複雜的操作流程，而AI Agent的目標，是把搜尋、資料庫、程式設計、資料分析和辦公工具串接起來，讓使用者只需要描述最終目標。
這意味著未來軟體產業的競爭可能不再是誰擁有更多工具，而是誰擁有更強的AI執行系統。
三、最值得關注的不是模型，而是AI開始設計晶片
Kimi K3最令人震撼的部分，可能是它自主完成晶片設計。
根據月之暗面披露的資訊，Kimi K3在一次48小時的自主運行中，使用開源EDA工具和Nangate 45nm工藝程式庫，完成了一款面向自身架構小型模型的晶片設計、優化和驗證。
這並不意味著Kimi K3已經能夠獨立完成現代先進製程AI晶片的商業化量產。45nm工藝與今天最先進的AI加速器之間存在巨大差距，晶片從設計到量產還涉及複雜的IP、工藝、製造、封裝和供應鏈體系。
但這一嘗試依然具有重要意義，因為晶片設計不是簡單寫程式，而是需要處理邏輯設計、綜合、佈局布線、時序分析、功耗最佳化和物理驗證等多個環節。
過去，AI在晶片產業更多是輔助工程師完成局部任務，例如最佳化佈局、預測時序、發現設計缺陷。
而Kimi K3展示的是另一種可能：AI不再只是使用工具，而是開始自主組織工具完成完整工程流程。
這和AI寫程式的發展路徑非常相似。早期AI只能生成一小段程式碼，後來可以編寫完整程式，再後來能夠讀取程式碼倉庫、執行測試並修復Bug。如今，AI開始嘗試設計運行AI所需要的硬體。
這可能形成一個新的AI自我增強循環：AI協助設計更強的晶片、更強的晶片訓練出更強的模型、更強的模型又幫助設計下一代晶片。
更值得注意的是，Kimi K3還展示了自主開發GPU程式設計系統的能力。
月之暗面披露，Kimi K3開發了MiniTriton，一個類似Triton的緊湊型編譯器系統，包括自己的中間表示層、最佳化流程和PTX程式碼生成流程。
這說明AI能力的邊界正在從使用軟體進一步擴展到創造軟體工具。
未來，模型本身可能直接參與晶片最佳化、編譯器開發、運算子適配和系統調優，這可能是Kimi K3最重要的策略價值。
它不只是個模型產品，而是在探索一種AI-native的研發模式。從模型到編譯器，從演算法到晶片，從資料到應用，AI逐漸成為整個基礎設施的一部分。
當然，AI自主設計的晶片仍需嚴格驗證，AI生成的科研成果也需要專業人士審查，AI自主執行複雜任務時同樣可能出現錯誤。
但Kimi K3已釋放出一個重要訊號：AI正在從被創造的對象，逐漸成為參與創造下一代AI的主體。
結語
Kimi K3的發佈，表面上是一次模型升級，背後卻代表大模型競爭邏輯的變化。
從更大的參數規模，到更有效率的架構。從回答問題到完成複雜工作，再到自主開發編譯器、設計晶片，AI正在逐漸參與創造下一代AI。
2.8萬億參數或許只是個數字，真正值得關注的是AI開始嘗試設計自己的未來。