المنشور

DeepSeek تفتح المصدر بالكامل لـ DeepInfer: إعادة صياغة تكلفة الاستدلال



فتحت DeepSeek اليوم المصدر بالكامل لإطار الاستدلال الداخلي DeepInfer ومكوّن ترميز وفك ترميز الرموز deepseek-recipe، مع دعم منصتي NVIDIA وHuawei Ascend.

وبالاعتماد على هذا الإطار، بلغ معدل المعالجة اليومي لمجموعة واحدة من V4.1 Flash نحو 155 تريليون Token، فيما تصل الإيرادات إلى 38 دولارًا لكل بطاقة في الساعة عند احتساب تكلفة الكهرباء خارج أوقات الذروة.

ومن خلال فصل Prefill/Decode، وإعادة استخدام KVCache، وفك الترميز التخميني، جرى تحسين كفاءة الاستدلال وكفاءة استهلاك الطاقة بدرجة كبيرة.

استشراف Army: عندما تنتقل أطر الاستدلال من الصندوق الأسود إلى المصدر المفتوح، يصبح جوهر المنافسة في الذكاء الاصطناعي هو من يستطيع خفض تكلفة Token إلى أدنى مستوى!
شاهد النسخة الأصلية
post-image
تحتوي هذه الصفحة على محتوى من طرف ثالث، ولا تُعد نصيحة، ولا تمثل تأييد Gate لهذه الآراء. للتفاصيل، يُرجى الاطلاع على إخلاء المسؤولية.
DEEPSEEKDEEPSEEK%⁦0.01⁩-


إضافة تعليق
إضافة تعليق

تعليق
لا توجد تعليقات