نموذج مفتوح المصدر بمليارات المعلمات يعمل بسرعة 981 كلمة/ثانية، اختبار Cerebras لـKimiK2.6 يسجل تسريعًا بمقدار 29 مرة.

robot
إنشاء الملخص قيد التقدم
ME News أخبار، في 20 مايو (UTC+8)، وفقًا لرصد Beating، أعلنت شركة Cerebras للرقاقات على مستوى الويفر عن إطلاق نموذج Kimi K2.6 ذي التريليون معلمة في اختبار المؤسسات، من خلال دمج الرقاقات مباشرة على ويفر سيليكون كامل بحجم 12 بوصة، مما ألغى تمامًا تأخيرات الاتصال بين الألواح التقليدية. أظهرت القياسات الفعلية التي أجرتها جهة التقييم المستقلة Artificial Analysis أن سرعة التوليد بلغت 981 رمزًا/ثانية، وهي أسرع بـ 6.7 مرات من خدمات السحابة GPU الرئيسية. في مهمة النص الطويل المكونة من 10000 رمز إدخال و 500 رمز إخراج، انخفض وقت الاستجابة الإجمالي من 163.7 ثانية لواجهة Kimi الرسمية إلى 5.6 ثانية، بزيادة سرعة تصل إلى 29 مرة. نظرًا لتوزيع أوزان النموذج عبر ويفرات متعددة لتدفق قيم التنشيط، يعمل الاتصال بين الطبقات بالكامل على شبكة النسيج داخل الويفر، ويصل عرض النطاق الترددي الفعلي للاتصال إلى أكثر من 200 ضعف من NVLink في بنية NVL72 من NVIDIA. بالتزامن مع تحسين الحوسبة الموزعة، يقوم Kimi K2.6 بتخزين الأوزان الأصلية بدقة 4 بت مع فقدان منخفض، ويستخدم أرقام فاصلة عائمة 16 بت للحفاظ على الدقة أثناء الحساب، ويستخدم نوى مخصصة وفك تشفير تخميني لتحقيق التشغيل في الوقت الفعلي. (المصدر: BlockBeats)
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
لا توجد تعليقات
  • مُثبت