4.72k 浏览量765 人讨论中
6.66k 浏览量1.46k 人讨论中
2.89k 浏览量204 人讨论中
8.03k 浏览量2.83k 人讨论中
5.79k 浏览量604 人讨论中
2.16k 浏览量397 人讨论中
5k 浏览量1.47k 人讨论中
7.89k 浏览量3.23k 人讨论中
1.43k 浏览量440 人讨论中
3.06k 浏览量6.62k 人讨论中
DeepSeek开源DeepInfer：推理成本正在被改写
DeepSeek今日全面开源内部推理框架DeepInfer及Token编解码组件deepseek-recipe，兼容英伟达与华为昇腾双平台。
基于该框架，V4.1 Flash单集群日吞吐已达155万亿Token，按谷电计算每卡每小时收入38美元。
通过Prefill/Decode分离、KVCache复用与投机解码，推理效率与能耗比被大幅优化。
Army前瞻：当推理框架从黑盒走向开源，AI的核心竞争变成谁能把Token的成本压到最低！