وفقًا لرصد "Beating" من قبل موبيت، قامت جوجل بنشر بنية التنبؤ المتعدد الرموز (MTP) في أجهزة Pixel 9 و Pixel 10، مما يؤدي إلى تسريع نموذج Gemini Nano v3 المدمج مباشرةً. من خلال إرفاق رأس محول خفيف الوزن بنهاية النموذج الرئيسي المجمد، تعمل البنية الجديدة على زيادة سرعة الاستدلال على الجهاز بأكثر من 50% مع الحفاظ الكامل على المحاذاة الأمنية الأصلية وجودة المخرجات. يتطلب فك التشفير التخميني التقليدي تشغيل نموذج مسودة مستقل للتنبؤ بالرموز المرشحة. لا يؤدي هذا فقط إلى استهلاك إضافي لذاكرة الوصول العشوائي للهاتف، بل يؤدي أيضًا إلى تقييد دقة التنبؤ بسبب عدم قدرة النموذج المستقل على الوصول إلى الحالات المخفية الداخلية للنموذج الرئيسي. من خلال تضمين رأس MTP في نهاية النموذج الرئيسي المجمد، تنجح البنية الجديدة في إعادة استخدام ميزات التنشيط المحسوبة بالفعل للنموذج الرئيسي، مما يحسن بشكل كبير دقة التنبؤ بالرموز المرشحة. لتجنب التكاليف المتكررة لذاكرة الوصول العشوائي الناتجة عن حسابات المسودة أثناء التوليد الذاتي الانحدار، صممت جوجل آلية النسخ الصفري. في الحلول التقليدية، يتطلب نموذج المسودة الحفاظ على ذاكرة مخبأة مستقلة للمفاتيح والقيم (KV cache) عند إنشاء الكلمات المرشحة، بينما تسمح آلية النسخ الصفري لرأس التنبؤ الخارجي بقراءة المخبأ الموجود للنموذج الرئيسي مباشرةً من خلال الانتباه المتقاطع. لا يؤدي هذا إلى القضاء على تأخير بدء التنبؤ المسودة فحسب، بل يوفر أيضًا حوالي 130 ميجابايت من مساحة ذاكرة الوصول العشوائي للهاتف. في الأعمال الفعلية لـ Pixel مثل ملخصات الإشعارات وتصحيح النصوص، تمكن بنية MTP النموذج من التنبؤ بنجاح بمتوسط ما يقرب من رمزين إضافيين في كل استدلال، مما يقلل من تكرار استيقاظ المعالج الرئيسي بسبب التحقق، وبالتالي توفير استهلاك الطاقة النظامية. في مهام توليد النصوص شديدة التنظيم مثل الردود الذكية، تصل نسبة قبول الرموز إلى 55%.

شاهد النسخة الأصلية

قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.

أعجبني
إعجاب
تعليق
إعادة النشر
مشاركة

تعليق

إضافة تعليق

لا توجد تعليقات

المواضيع الرائجة
عرض المزيد
#
SKHynixTopsKOSPIByMarketCap
1.64M درجة الشعبية
#
MicronEarningsBeatExpectationsSharesRise
353.65K درجة الشعبية
#
IsraelStrikesIranBTCPlunges
65.31K درجة الشعبية
#
PredictWorldCupShare20000U
129.14K درجة الشعبية
#
USMayPCEInflationRisesTo4.1%HighestIn3Years
195.84K درجة الشعبية

مُثبت

خريطة الموقع

غوغل بيكسل تنشر MTP بدون نسخ، جيميني نانو يسرع الاستدلال بأكثر من 50% ويوفر الذاكرة

المواضيع الرائجة

SKHynixTopsKOSPIByMarketCap

MicronEarningsBeatExpectationsSharesRise

IsraelStrikesIranBTCPlunges

PredictWorldCupShare20000U

USMayPCEInflationRisesTo4.1%HighestIn3Years

مُثبت