美團LongCat-2.0同步開放國產卡推理代碼

robot
摘要生成中
金色財經報導,7月9日訊,作為業界首個在五萬卡國產算力集群上完成推理的萬億參數模型,LongCat-2.0已全面開源。針對顯存與頻寬受限的國產算力芯片,我們在模型架構、芯片適配到部署策略上進行了深度協同優化,讓萬億參數模型在存量卡上同樣跑得穩、跑得快。LongCat-2.0的開源,是一次技術路徑的公開,也是一次生態邀約。本次開源同步提供BF16、FP8以及INT8等多精度版本,全面覆蓋不同算力平台的部署需求。同時,我們深度擁抱開源社區,將針對國產算力極致優化的推理成果同步開源。這意味著,即使手上沒有最新算力,也能基於現有硬件將LongCat-2.0穩定跑起來。我們希望透過這套開箱即用的推理棧,讓更多的國產卡包括老卡,都能流暢部署萬億大模型推理服務,在真實生產力場景發揮更大價值。
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆
  • 已置頂