Hugging Face رسميًا يطلق Kernels، مشغلات GPU مثل النماذج، يتم تثبيتها بسطر واحد من الكود

أخبار ME News، 15 أبريل (بتوقيت UTC+8)، وفقًا لمراقبة 1M AI News، أعلن Clem Delangue، المدير التنفيذي لـ Hugging Face، عن إطلاق Kernels رسميًا على Hub.
وحدة GPU هي رمز التحسين الأساسي الذي يدفع بطاقة الرسوميات لتحقيق أقصى سرعة، ويمكنها تسريع الاستدلال والتدريب بمقدار 1.7 إلى 2.5 مرة، لكن التثبيت كان دائمًا كابوسًا: على سبيل المثال، FlashAttention الأكثر استخدامًا يتطلب حوالي 96 جيجابايت من الذاكرة وعدة ساعات للتجميع المحلي، وإذا كانت إصدارات PyTorch أو CUDA غير متوافقة قليلاً، تظهر أخطاء، ومعظم المطورين يتوقفون عند خطوة التثبيت.
نظام Kernels Hub ينقل عملية التجميع إلى السحابة.
قامت Hugging Face مسبقًا بتجميع المشغلات على مختلف بطاقات الرسوميات وبيئات النظام، بحيث يكتب المطور سطرًا واحدًا من التعليمات البرمجية، ويتطابق Hub تلقائيًا مع بيئة الأجهزة، ويقوم بتنزيل الملفات المجمعة مسبقًا خلال ثوانٍ وتكون جاهزة للاستخدام.
يمكن تحميل عدة إصدارات مختلفة من المشغلات في نفس العملية، مع التوافق مع torch.compile.
تم اختبار وإطلاق Kernels في يونيو من العام الماضي، وتم ترقيته هذا الشهر ليصبح نوع مستودع رئيسي على Hub، إلى جانب Models وDatasets وSpaces.
يوجد حاليًا 61 مشغلًا مجمعًا مسبقًا، يغطي سيناريوهات الاستخدام الشائعة مثل آلية الانتباه، والتطبيع، وتوجيه الخبراء المختلطين، والتكميم، ويدعم أربع منصات تسريع للأجهزة: NVIDIA CUDA، وAMD ROCm، وApple Metal، وIntel XPU.
كما تم دمجه في إطار استدلال Hugging Face TGI ومكتبة Transformers.
(المصدر: BlockBeats)