2026-10-20 09:09:41
DeepSeek 开源 DeepInfer 推理框架,支持英伟达和华为昇腾
据 ChainCatcher 报道,DeepSeek 今日宣布,已将其内部推理框架 DeepInfer 和生产级 Token 编解码组件 deepseek-recipe 开源。DeepInfer 集成了高性能算子和优化后的推理引擎,支持分布式推理、投机解码和结构化输出,并兼容英伟达和华为昇腾平台。DeepSeek 表示,已部署 DeepInfer,为 DeepSeek V4.1 Flash 提供高吞吐、低延迟的推理服务;未来模型的推理代码和优化也将持续更新至该框架。