Postingan

DeepSeek merilis DeepInfer sebagai open source: biaya inferensi tengah berubah



Hari ini, DeepSeek merilis secara penuh framework inferensi internal DeepInfer dan komponen enkode-dekode Token deepseek-recipe sebagai open source. Keduanya kompatibel dengan platform NVIDIA dan Huawei Ascend.

Dengan framework ini, throughput harian satu klaster V4.1 Flash telah mencapai 1,55 kuadriliun Token. Dengan perhitungan tarif listrik luar jam sibuk, pendapatan per kartu per jam mencapai 38 dolar AS.

Melalui pemisahan Prefill/Decode, penggunaan ulang KVCache, dan speculative decoding, efisiensi inferensi serta rasio konsumsi energinya meningkat drastis.

Prospek Army: Saat framework inferensi beralih dari kotak hitam menjadi open source, persaingan inti AI kini ditentukan oleh siapa yang mampu menekan biaya Token serendah mungkin!
Lihat Asli
post-image
Halaman ini berisi konten pihak ketiga dan bukan merupakan nasihat apa pun, juga tidak mewakili dukungan Gate atas pandangan tersebut. Untuk detail, silakan lihat penafian.
DEEPSEEKDEEPSEEK-0,01%


Tambahkan komentar
Tambahkan komentar

Komentar
Tidak ada komentar