أولاما تعيد بناء محرك استنتاج Apple Silicon باستخدام MLX: سرعة فك الشفرة تتضاعف تقريبًا، ومتوافق مع كود كلود

وفقًا للرصد من 1M AI News، أصدرت Ollama نسخة المعاينة 0.19، والتي تعيد بناء محرك الاستدلال على Apple Silicon باستخدام إطار عمل تعلم الآلة MLX من Apple. يعزز هذا التحسين أداءً عبر الاستفادة من بنية ذاكرة موحدة، مع استخدام مسرّع الشبكات العصبية لوحدة معالجة الرسوميات (GPU) على شرائح M5/M5 Pro/M5 Max، مع تحسين زمن أول رمز (first token latency) وسرعة التوليد. أظهرت اختبارات القياس التي أُجريت في 29 مارس أنه عند تشغيل نموذج Qwen3.5-35B-A3B (تكميم NVIDIA NVFP4) على شرائح سلسلة M5، زادت سرعة الـ prefill من 1154 token/s إلى 1810 token/s، وتحسنت سرعة الـ decode من 58 token/s إلى 112 token/s، أي تقريبًا الضعف. عند التبديل إلى دقة int4، يمكن أن تصل سرعة الـ prefill أكثر إلى 1851 token/s، مع وصول سرعة الـ decode إلى 134 token/s. تضيف نسخة 0.19 أيضًا دعم تنسيق التكميم NVIDIA NVFP4. NVIDIA NVFP4 هو أسلوب تكميم يحافظ على دقة النموذج مع تقليل عرض النطاق الترددي للذاكرة واستخدام التخزين، وهو متوافق مع النماذج المُحسّنة بواسطة NVIDIA Model Optimizer، ومتسق مع التنسيقات المستخدمة من قبل مزودي خدمات الاستدلال السحابي الرئيسيين. تمت ترقية نظام التخزين المؤقت لدعم إعادة الاستخدام عبر الجلسات (باستخدام أدوات مثل Claude Code، يمكن للوُجهات/المطالبات النظام المشتركة تحقيق معدلات ضرب أعلى في التخزين المؤقت)، وتخزين لقطات عند مواضع رئيسية داخل المطالبات لتقليل المعالجة المتكررة، وتنفيذ استراتيجيات أكثر ذكاءً لإخلاء/استبعاد عناصر التخزين المؤقت. تتطلب نسخة المعاينة هذه جهاز Mac بذاكرة موحدة تزيد عن 32GB، والنموذج المُحسّن خصيصًا لمهام البرمجة هو Qwen3.5-35B-A3B، ويمكن الوصول إليه عبر ‘ollama launch claude --model qwen3.5:35b-a3b-coding-nvfp4’ لـ Claude Code.