2026-10-20 09:09:41
DeepSeek 開源 DeepInfer 推論框架,支援輝達與華為昇騰
據 ChainCatcher 報導,DeepSeek 今日宣布已開源其內部推論框架 DeepInfer,以及生產級 Token 編碼器元件 deepseek-recipe。DeepInfer 整合了高效能算子和最佳化推論引擎,支援分散式推論、推測解碼和結構化輸出,並相容於輝達和華為昇騰平台。DeepSeek 表示,已部署 DeepInfer,為 DeepSeek V4.1 Flash 提供高吞吐量、低延遲的推論服務;未來模型的推論程式碼和最佳化也將持續在該框架上更新。