DeepSeek abre o código-fonte do DeepInfer: os custos de inferência estão sendo redefinidos

Hoje, a DeepSeek abriu totalmente o código-fonte de seu framework interno de inferência DeepInfer e do componente de codificação e decodificação de tokens deepseek-recipe, compatíveis com as plataformas da NVIDIA e da Huawei Ascend.
Com base nesse framework, o V4.1 Flash já alcançou uma capacidade de processamento diário de 155 trilhões de tokens em um único cluster, com receita de US$ 38 por placa por hora, considerando tarifas de energia fora do horário de pico.
Por meio da separação entre Prefill e Decode, da reutilização do KVCache e da decodificação especulativa, a eficiência de inferência e a relação entre consumo de energia e desempenho foram amplamente otimizadas.
Perspectiva da Army: quando os frameworks de inferência deixam de ser caixas-pretas e passam a ser de código aberto, a principal disputa da IA passa a ser quem consegue reduzir ao máximo o custo dos tokens!