جوجل ديب مايند تفتح مصدر عائلة نماذج جيمّا 4 متعددة الوسائط

أخبار ME، في 3 أبريل (بتوقيت UTC+8)، قامت Google DeepMind مؤخرًا بإصدار مفتوح لمجموعة نماذج Gemma متعددة الوسائط 4. تدعم هذه السلسلة من النماذج إدخال النصوص والصور (وتدعم النماذج الصغيرة أيضًا الصوت)، وتنتج مخرجات نصية، وتشمل إصدارات ما قبل التدريب وتعديلات الأوامر، مع نافذة سياق تصل إلى 256 ألف رمز، وتدعم أكثر من 140 لغة. تعتمد النماذج على هياكل كثيفة (Dense) وخبراء مختلطين (MoE)، وتتوفر بأربعة أحجام هي E2B و E4B و 26B A4B و 31B. تشمل قدراتها الأساسية الاستنتاج عالي الأداء، وتوسيع المعالجة متعددة الوسائط، وتحسين الأداء على الأجهزة، وتكبير نافذة السياق، وتعزيز قدرات التشفير والوكيل الذكي، ودعم الإشارات الأصلية للنظام. من الناحية التقنية، تعتمد النماذج على آلية انتباه مختلطة، وتستخدم الطبقات العالمية مفاتيح وقيم موحدة وRoPE بنسبة (p-RoPE). حيث تعتمد نماذج E2B و E4B على تقنية التضمين على مستوى الطبقات (PLE)، مما يقلل من عدد المعلمات الفعالة مقارنة بعدد المعلمات الإجمالي. بينما في نموذج 26B A4B MoE، يتم تنشيط 3.8 مليار معلمة فقط أثناء الاستنتاج، وتكون سرعته قريبة من نموذج 4B معلمة. (المصدر: InFoQ)