ZAYA1-8B هذه الهيكلية لها بعض الاهتمام، من خلال تعديل التوليد التلقائي إلى MoE الانتشار يمكنها إزالة الضوضاء مرة واحدة أماميًا لـ 16 توكن، والتسريع بمقدار 7.7x فعلاً حول ضغط ذاكرة الفيديو إلى ضغط حسابي

شاهد النسخة الأصلية
MeNews
Zyphra تطلق أول نموذج لغة موسع لنظام AMD البيئي، بسرعة تصل إلى 7.7 أضعاف
Zyphra إصدار ZAYA1-8B-Diffusion-Preview، يحول النموذج اللغوي الكبير التلقائي إلى نموذج انتشاري مختلط خوارزمي، ليصبح أول نموذج لغة انتشاري يتم تدريبه ضمن بيئة أجهزة AMD. من خلال TiDAR، يتجاوز التدريب المسبق من الصفر، ويقوم بإزالة الضوضاء من 16 رمز في نفس الوقت خلال تمريرة واحدة، مما يحول عنق الزجاجة في الذاكرة إلى عنق زجاجة في القدرة الحسابية. أظهرت الاختبارات تسريعًا بمقدار 4.6 مرات باستخدام انتباه CCA وعينة بدون فقد، وزادت إلى 7.7 مرات بعد التبديل إلى مرشح التوزيع المختلط.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
لا توجد تعليقات
  • مُثبت