جيمّا 4 أخيرًا مستقرة على llama.cpp

في 2 أبريل، أطلقت جوجل جيمّا 4، وفي اليوم الأول كانت هناك دعم لـ llama.cpp لكن مع العديد من الأخطاء. الآن تم إصلاح جميع المشاكل
E2B، E4B، 26B MoE، 31B Dense
يحتل 31B المركز الثالث في لوحة قيادة Arena AI، و26B يحتل المركز السادس
أقوى فئة من النماذج مفتوحة المصدر
استخدم --chat-template-file لتحميل القوالب المتداخلة
يوصى بتمكين --cache-ram 2048
طول السياق يعتمد على VRAM
السنة الماضية، كان أفضل نموذج محلي هو نسخة Llama 3.1 70B المكممة، بالكاد قابل للاستخدام
الآن، يعمل Gemma 4 31B Q5 بسلاسة على Mac Studio، ويقترب من مستوى GPT-4
تبدأ تطبيقات الذكاء الاصطناعي التي لا تعتمد على واجهات برمجة التطبيقات في أن تكون ذات جدوى تجارية. البيانات تبقى على الجهاز المحلي، بدون تكلفة، بزمن استجابة منخفض جدًا
بالنسبة للأعمال الفردية، النماذج المحلية هي البنية التحتية الحقيقية. بينما يدفع المنافسون رسوم API، تكلفتك الحدية هي فقط الكهرباء
Gemma 4 + llama.cpp = الحل الأمثل للاستنتاج المحلي، جاهز للإنتاج