إتاحة نماذج الذكاء الاصطناعي الكبيرة بشكل أكبر لأجهزة الكمبيوتر المنزلية

منذ أكثر من ثلاثة أشهر، كنت أبحث بهدوء عن طرق لتقليل عبء العتاد والذاكرة اللازمة لتشغيل نماذج ذكاء اصطناعي فائقة الضخامة - لا سيما نماذج الخبراء المتخصصين (mixture-of-experts) مثل GLM-5.2 - على أجهزة كمبيوتر منزلية عادية.
تأتي هذه الأعمال ضمن متطلبات درجة الماجستير في علوم الحاسب، وتبدو النتائج الأولية واعدة.
لدي الآن نموذج أولي يعمل، وأخطط لمشاركة المزيد عنه قريبًا.
ليس الهدف مجرد إنشاء نسخة أصغر من النموذج أو الادعاء بأن مئات المليارات من المعلمات يمكنها أن «تنغمس» بشكل سحري داخل وحدة معالجة رسومية استهلاكية (GPU).
ما يزال النموذج كاملًا متاحًا، لكن النظام يحاول تحميل المكونات والاحتفاظ بها ونقلها فقط اللازمة للمرحلة الحالية من الاستدلال.
يتناول بحثي مجالات مثل:
الإقامة الديناميكية للخبراء
جلب الخبراء مسبقًا بشكل تنبؤي
التحميل الهرمي عبر VRAM وذاكرة النظام وذاكرة NVMe
التوجيه الواعٍ للذاكرة المؤقتة (cache-aware)
تقليل حركة المعلمات غير الضرورية
تكييف مسار التنفيذ مع العتاد المتاح
أخيرًا شاهدت مشروعًا آخر يستكشف اتجاهًا مشابهًا، ما شجعني على جعل عملي متاحًا للعامة.
لكنني أعتقد أن بعض المقاربات الحالية قد تقلل من تقدير عبء الاستدلال الحقيقي.
إن حصر العد في المعلمات المخصصة للخبراء النشطين فقط لا يعكس التكلفة الكاملة للاستدلال. إذ يمكن أن تصبح الطبقات المشتركة وحالات الانتباه وذاكرة KV المؤقتة وقرارات التوجيه وانتقالات الخبراء وعرض نطاق الذاكرة وأخطاء الصفحات وتزامن وحدة المعالجة المركزية مع وحدة معالجة الرسوميات نقاط اختناق رئيسية.
قد يبدو النظام كفؤًا عند قياس المعلمات النشطة فحسب، بينما يؤدي أداءً ضعيفًا خلال الاستدلال الواقعي الشامل من البداية إلى النهاية، لأنه يعيد نقل البيانات بشكل متكرر بين التخزين وذاكرة الوصول العشوائي (RAM) وVRAM.
لذا فإن نهجي لا يركز فقط على اختيار عدد أقل من الخبراء.
بل يأخذ كذلك في الاعتبار أين ينبغي أن توجد مكونات النموذج، ومتى يجب نقلها، وما الذي ينبغي أن يبقى مخزّنًا في الذاكرة المؤقتة، وكيف يمكن التنبؤ بالمتطلبات القادمة دون تحميل أجزاء غير لازمة من النموذج.
ما زالت الأبحاث مستمرة، ولا يزال هناك الكثير من الاختبارات لإتمامها. ومع ذلك، تشير النتائج حتى الآن إلى وجود مسار عملي لتشغيل نماذج أكبر بكثير على عتاد استهلاكي، مع ضغط ذروة أقل بكثير على الذاكرة.
النموذج الأولي يعمل بالفعل، رغم أنه ما زال تجريبيًا ويحتاج إلى تحسينات إضافية والتحقق والاختبار عبر أوضاع مختلفة من العتاد.
أنوي مشاركة النموذج الأولي، أو عرضًا عامًا مبكرًا له، قريبًا.
تُنتج التجارب نتائج واعدة.
وأعتقد أن استدلال النماذج الكبيرة على أجهزة الكمبيوتر المنزلية يمكن أن يصبح أكثر كفاءة بكثير مما هو عليه اليوم.
سيجري مشاركة المزيد قريبًا. #AI