جوجل ديب مايند تفتح مصدر عائلة نماذج جيمّا 4 متعددة الوسائط

أخبار ME، في 3 أبريل (بتوقيت UTC+8)، قامت Google DeepMind مؤخرًا بإصدار مفتوح لمجموعة نماذج Gemma متعددة الوسائط 4. تتضمن هذه السلسلة نماذج تدعم إدخال النص والصورة (وحتى الصوت في النماذج الصغيرة)، وتنتج مخرجات نصية، مع إصدارات مدربة مسبقًا وتعديلات موجهة بالأوامر، وتصل نافذة السياق إلى 256 ألف رمز، وتدعم أكثر من 140 لغة. تعتمد النماذج على بنية كثيفة (Dense) ومختلطة خبراء (MoE)، وتتوفر بأربعة أحجام هي E2B، E4B، 26B A4B و31B. تشمل قدراتها الأساسية الاستنتاج عالي الأداء، وتوسيع معالجة الوسائط المتعددة، وتحسين الأداء على الأجهزة، وتكبير نافذة السياق، وتعزيز قدرات التشفير والوكيل الذكي، ودعم الإشارات الأصلية للنظام. من الناحية التقنية، تستخدم النماذج آلية انتباه مختلطة، وتستخدم الطبقات العالمية مفاتيح وقيم موحدة وRoPE بنسبة (p-RoPE). حيث تعتمد نماذج E2B وE4B تقنية التضمين على مستوى الطبقة (PLE)، مما يقلل من عدد المعلمات الفعالة عن إجمالي المعلمات. بينما في نموذج 26B A4B MoE، يتم تفعيل 3.8 مليار معلمة فقط أثناء الاستنتاج، وتعمل بسرعة تقترب من نماذج 4B معلمة. (المصدر: InFoQ)