DeepSeekがDeepInferをオープンソース化：推論コストの構造が変わりつつある

DeepSeekは本日、社内推論フレームワークDeepInferとTokenのエンコード・デコードコンポーネントdeepseek-recipeを全面的にオープンソース化し、NVIDIAとファーウェイ昇騰の両プラットフォームに対応させた。
このフレームワークを基盤とするV4.1 Flashは、単一クラスターで1日あたり155兆Tokenのスループットを達成。オフピーク電力料金で計算すると、カード1枚あたりの1時間の収益は38ドルに上る。
Prefill/Decodeの分離、KVCacheの再利用、投機的デコードにより、推論効率とエネルギー効率が大幅に向上した。
Armyの見通し：推論フレームワークがブラックボックスからオープンソースへと移行するなか、AIの競争の核心は、誰がTokenのコストを最も低く抑えられるかに変わる！