Hugging Face رسميًا يطلق Kernels، مشغلات GPU مثل النماذج، يتم تثبيتها بسطر واحد من الكود

أخبار ME News، 15 أبريل (بتوقيت UTC+8)، وفقًا لمراقبة 1M AI News، أعلن الرئيس التنفيذي لـ Hugging Face Clem Delangue عن إطلاق Kernels رسميًا على Hub.
المعاملات GPU هي رموز تحسين أسفل مستوى تتيح للبطاقات الرسومية الوصول إلى أقصى سرعة، ويمكنها تسريع الاستدلال والتدريب بنسبة تتراوح بين 1.7 إلى 2.5 مرة، لكن التثبيت كان دائمًا كابوسًا: على سبيل المثال، FlashAttention الأكثر استخدامًا، يتطلب الترجمة المحلية حوالي 96 جيجابايت من الذاكرة وساعات، وإذا كانت إصدارات PyTorch أو CUDA غير متوافقة قليلاً، تظهر أخطاء، ومعظم المطورين يتوقفون عند خطوة التثبيت.
نظام Kernels Hub ينقل عملية الترجمة إلى السحابة.
قامت Hugging Face مسبقًا بترجمة المعاملات على مختلف بطاقات الرسوميات وبيئات النظام، حيث يكتب المطور سطرًا واحدًا من التعليمات البرمجية، ويتطابق Hub تلقائيًا مع بيئة الأجهزة، ويقوم بتنزيل الملفات المترجمة مسبقًا خلال ثوانٍ وتكون جاهزة للاستخدام.
يمكن تحميل عدة إصدارات مختلفة من المعاملات في نفس العملية، مع التوافق مع torch.compile.
تم اختبار Kernels وطرحه في يونيو من العام الماضي، وتم ترقيته هذا الشهر ليصبح نوع مستودع رئيسي على Hub، إلى جانب Models وDatasets وSpaces.
يوجد حاليًا 61 معاملًا مترجمًا مسبقًا، تغطي آليات الانتباه، والتطبيع، وتوجيه الخبراء المختلطين، والتكميم، وغيرها من السيناريوهات الشائعة، وتدعم أربع منصات تسريع الأجهزة: NVIDIA CUDA، وAMD ROCm، وApple Metal، وIntel XPU، وتم دمجها في إطار استدلال Hugging Face TGI ومكتبة Transformers.
(المصدر: BlockBeats)