جوجل ديب مايند تفتح مصدر عائلة نماذج جيمّا 4 متعددة الوسائط

أخبار ME، في 3 أبريل (بتوقيت UTC+8)، قامت Google DeepMind مؤخرًا بإصدار مفتوح لنموذج عائلة Gemma متعدد الوسائط 4. تتضمن هذه السلسلة من النماذج دعم الإدخال النصي والصوري (كما يدعم النماذج الصغيرة الصوت)، وإنتاج مخرجات نصية، مع وجود نسخ مدربة مسبقًا ونسخ محسنة للأوامر، وتصل نافذة السياق إلى 256 ألف رمز، وتدعم أكثر من 140 لغة. تعتمد النماذج على هياكل كثيفة (Dense) وخبراء مختلطين (MoE)، وتتوفر بأربعة أحجام هي E2B و E4B و 26B A4B و 31B. تشمل قدراتها الأساسية الاستنتاج عالي الأداء، وتوسيع المعالجة متعددة الوسائط، وتحسين الأداء على الأجهزة، وزيادة نافذة السياق، وتعزيز قدرات التشفير والوكيل الذكي، ودعم الإشارات الأصلية للنظام. من الناحية التقنية، تعتمد النماذج على آلية انتباه مختلطة، وتستخدم الطبقات العالمية مفاتيح وقيم موحدة وRoPE بنسبة (p-RoPE). حيث تعتمد نماذج E2B و E4B تقنية التضمين على مستوى الطبقة (PLE)، مما يقلل من عدد المعلمات الفعالة مقارنة بعدد المعلمات الإجمالي. بينما في نموذج 26B A4B MoE، يتم تنشيط 3.8 مليار معلمة فقط أثناء الاستنتاج، وتكون سرعته قريبة من نموذج 4B معلمة. (المصدر: InFoQ)