جوجل ديب مايند تفتح مصدر عائلة نماذج جيمّا 4 متعددة الوسائط

أخبار ME، في 3 أبريل (بتوقيت UTC+8)، قامت Google DeepMind مؤخرًا بإصدار مفتوح لنموذج عائلة Gemma 4 متعدد الوسائط. تدعم هذه السلسلة من النماذج إدخال النصوص والصور (وتدعم النماذج الصغيرة أيضًا الصوت)، وتنتج مخرجات نصية، وتحتوي على نسخ مدربة مسبقًا ونسخ محسنة للأوامر، مع نافذة سياق تصل إلى 256 ألف رمز، وتدعم أكثر من 140 لغة. تعتمد النماذج على بنية كثيفة (Dense) وموهبة خبراء مختلطة (MoE)، وتتوفر بأربعة أحجام هي E2B، E4B، 26B A4B و31B. تشمل قدراتها الأساسية الاستنتاج عالي الأداء، وتوسيع المعالجة متعددة الوسائط، وتحسين الأداء على الأجهزة، وتكبير نافذة السياق، وتعزيز قدرات التشفير والوكيل الذكي، ودعم الإشارات الأصلية للنظام. من الناحية التقنية، تعتمد النماذج على آلية انتباه مختلطة، وتستخدم الطبقات العالمية مفاتيح وقيم موحدة وRoPE بنسبة (p-RoPE). حيث تعتمد نماذج E2B وE4B على تقنية التضمين على مستوى الطبقات (PLE)، مع عدد معلمات فعال أقل من إجمالي المعلمات. بينما في نموذج MoE 26B A4B، يتم تفعيل 3.8 مليار معلمة فقط أثناء الاستنتاج، وتعمل بسرعة تقترب من نماذج 4B معلمة. (المصدر: InFoQ)