لماذا تشغل نماذج محليًا؟

عادةً سببان رئيسيان - الخصوصية والتكلفة
دعنا نستكشف جانب التكلفة بمثال ونرى كيف تسير الحسابات
لنفترض أنك تريد تشغيل حلقة Autoresearch طوال الليل مثل @karpathy
إذا كان لديك إمكانية الوصول إلى H100، يمكنك تشغيل 100 تجربة طوال الليل باستخدام Opus-4.6 و تكلفة API ستكون على الأرجح في نطاق $10-25
لكن معظمنا لا نحظى بالحظ الكافي للوصول إلى H100
لا يزال يمكننا تشغيل 100 تجربة Autoresearch على MacBook بنفس التكلفة $10-25، لكن لن تكون مقارنة متكافئة
سيكمل H100 50-100x خطوات تدريب أكثر خلال نفس الفترة الزمنية
إذن إذا كنت تريد تكرار نفس عدد خطوات التدريب، قد ينتهي بك الحال لدفع أكثر من $1000 في تكاليف API، وبطبيعة الحال سيستغرق وقتًا أطول بكثير من الليل الواحد
لن يكون هذا ذكيًا جدًا لأنه يمكنك استئجار H100 بتكلفة أقل بكثير والحصول على نفس النتيجة بسرعة أكبر
لكن هذا يبدأ في رسم صورة توضح لماذا تريد تشغيل النماذج محليًا - فهو يمكنك من إجراء تجارب كانت خلاف ذلك مكلفة جدًا لمعظم الناس
يبدأ في تعديل المعايير
أنا أشغل Qwen3.5 9B على جهاز كمبيوتر قديم والآن من المنطقي أن أجرب أشياء لم أكن سأفعلها بخلاف ذلك إذا كنت مسؤولًا عن تكاليف API
وهذا فتح كبير وسيفتح المزيد مع مرور الوقت مع تحسن النماذج وتصغرها