Publicar

DeepSeek abre o código-fonte do DeepInfer: os custos de inferência estão a ser redefinidos


Hoje, a DeepSeek abriu totalmente o código-fonte da sua estrutura interna de inferência DeepInfer e do componente de codificação e descodificação de tokens deepseek-recipe, compatíveis com as plataformas da NVIDIA e da Huawei Ascend.
Com base nesta estrutura, o V4.1 Flash já atingiu um débito diário de 155 biliões de tokens num único cluster, gerando 38 dólares por placa e por hora, com base na tarifa de eletricidade em horas de vazio.
Graças à separação entre Prefill e Decode, à reutilização da KVCache e à descodificação especulativa, a eficiência de inferência e a eficiência energética foram substancialmente melhoradas.
Perspetiva da Army: quando as estruturas de inferência passam de caixas negras a código aberto, a principal competição em IA passa a ser quem consegue reduzir ao mínimo o custo dos tokens!
Ver original
post-image
Esta página contém conteúdo de terceiros e não constitui qualquer aconselhamento, nem representa a aprovação destas opiniões pela Gate. Para mais detalhes, consulte a isenção de responsabilidade.
DEEPSEEKDEEPSEEK-0,01%


Adicionar um comentário
Adicionar um comentário

Comentar
Nenhum comentário