Kimi K3 昨晚開源後的數據表現,說明大家對高性能開源模型的渴求已經到了極點。


一夜之間接近 2900 次下載,考慮到這模型對硬體的變態要求,這下載量含金量極高。
畢竟這玩意兒啟動成本就是幾千萬的伺服器叢集。
月之暗面這次沒有擠牙膏。
2.8 T MoE 架構,智慧密度比以前提升 2.5 倍。
這意味著它不是靠堆參數去換取的性能提升,而是架構層面的效率優化。
原生視覺理解加 1 M 上下文,這配置基本上就是對著目前最強的閉源模型去的。
最值得討論的是他們開源了 MoE 通信庫。
玩過大模型的都知道,MoE 架構最難搞的就是多卡之間的通信效率。
Kimi 直接把這塊骨頭啃下來並開源,以後大家搞大參數模型,不用再從零開始去抠底層的通信框架了。
這波操作直接把開源和閉源的差距拉到了半年以內。
現在的局面變得很有意思:
閉源模型靠規模效應和先發優勢守城,而像 K3 這樣的開源力量正在透過全棧開放來瓦解對方的護城河。
這種開放不是姿態,而是實打實地把程式碼和工具鏈交出來。
對於開發者和新創團隊來說,這是一個轉折點。
你手裡終於有了一把可以平替甚至超越部分閉源 API 的重劍,雖然這把劍很重,需要昂貴的算力去揮動它,但至少它現在就在你的手裡。
查看原文
post-image
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 7
  • 2
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
通道滑翔者
· 1小時前
這波操作確實硬核,MoE 通信庫開源直接降低了大模型門檻,點讚。
查看原文回復0
Perp Nightwatch
· 4小時前
2900 次下載對於這種吃算力的巨獸來說,含金量真的不低,說明大家太需要好用的開源模型了。
查看原文回復0
Meme天气预报
· 4小時前
月之暗面沒擠牙膏,2.8 萬億 MoE 加上 2.5 倍智慧密度提升,架構優化比堆參數聰明得多。
查看原文回復0
稳定币冲浪手2
· 4小時前
開源與閉源的差距縮到半年以內。照這個節奏下去,不降價的閉源也很難,最後受益的還是用戶。
查看原文回復0
链上渔夫
· 4小時前
最讓我興奮的是原生視覺加上 1M 上下文;這配置直接對標閉源旗艦,開源社群終於有重武器了。
查看原文回復0
蜗牛收藏家
· 4小時前
開發者拿到的是一把重劍,揮動它確實很貴,但總比赤手空拳強,期待更多應用落地。
查看原文回復0
钱包权限管理员
· 5小時前
效能強歸強,啟動就數千萬的伺服器集群,普通人只能仰望,不過至少證明這條路走得通。
查看原文回復0