Hugging Face رسميًا أطلقت Kernels، مشغلات GPU مثل النماذج، يتم تثبيتها بسطر واحد من التعليمات البرمجية

أخبار ME، في 15 أبريل (بتوقيت UTC+8)، وفقًا لمراقبة 1M AI News، أعلن Clem Delangue، المدير التنفيذي لـ Hugging Face، عن إطلاق Kernels رسميًا على Hub.
المعاملات GPU هي رموز تحسين أسفلية تتيح للبطاقات الرسومية الوصول إلى أقصى سرعة، ويمكنها تسريع الاستدلال والتدريب بنسبة تتراوح بين 1.7 إلى 2.5 مرة، لكن التثبيت كان دائمًا كابوسًا: على سبيل المثال، FlashAttention الأكثر استخدامًا يتطلب تقريبًا 96 جيجابايت من الذاكرة وعدة ساعات للتجميع المحلي، وإذا كانت إصدارات PyTorch أو CUDA غير متوافقة قليلاً، تظهر أخطاء، وغالبًا ما يتوقف المطورون عند خطوة التثبيت.
نظام Kernels Hub ينقل عملية التجميع إلى السحابة.
قامت Hugging Face مسبقًا بتجميع المعاملات على مختلف بطاقات الرسوميات وبيئات النظام، بحيث يكتب المطور سطرًا واحدًا من التعليمات البرمجية، ويقوم Hub بمطابقة البيئة تلقائيًا، وتنزيل الملف المُجمّع مسبقًا خلال ثوانٍ ليكون جاهزًا للاستخدام.
يمكن تحميل عدة إصدارات مختلفة من المعاملات في نفس العملية، مع التوافق مع torch.compile.
تم اختبار Kernels وطرحه في يونيو من العام الماضي، وتم ترقيته هذا الشهر ليصبح نوع مستودع رئيسي على Hub، إلى جانب Models وDatasets وSpaces.
يوجد حاليًا 61 معاملًا مُجمّعًا مسبقًا، تغطي سيناريوهات شائعة مثل آلية الانتباه، والتطبيع، وتوجيه الخبراء المختلطين، والتكميم، وتدعم أربع منصات تسريع للأجهزة: NVIDIA CUDA، وAMD ROCm، وApple Metal، وIntel XPU، وتم دمجها في إطار استدلال Hugging Face TGI ومكتبة Transformers.
(المصدر: BlockBeats)