Hugging Face офіційно запустила Kernels, GPU-оператори як моделі — один рядок коду для налаштування

ME News Новини, 15 квітня (UTC+8), за даними 1M AI News, генеральний директор Hugging Face Клем Деланж оголосив про офіційний запуск Kernels на Hub. GPU оператори — це низькорівневий код оптимізації, який дозволяє відеокартам працювати на максимально можливій швидкості, прискорюючи інференс і тренування на 1,7 до 2,5 разів, але установка завжди була кошмаром: взяти для прикладу найпоширеніший FlashAttention, локальна компіляція потребує близько 96 ГБ пам’яті та кілька годин, будь-яка невідповідність версії PyTorch або CUDA викликає помилки, і більшість розробників застрягає саме на цьому етапі. Kernels Hub переносить компіляцію в хмару. Hugging Face заздалегідь компілює оператори для різних графічних карт і системних середовищ, розробник пише один рядок коду, а Hub автоматично підбирає апаратне забезпечення, завантажує попередньо скомпільовані файли, які можна одразу використовувати. У одному процесі можна завантажити кілька різних версій операторів, сумісних з torch.compile. Kernels були запущені для тестування у червні минулого року, а цього місяця їх оновили до рівня основного репозиторію Hub, поряд із Models, Datasets і Spaces. Наразі вже є 61 попередньо скомпільований оператор, що охоплює поширені сценарії, такі як механізми уваги, нормалізація, маршрутизація гібридних експертів, кількісне зменшення тощо, підтримує чотири платформи апаратного прискорення: NVIDIA CUDA, AMD ROCm, Apple Metal і Intel XPU, і вже інтегровані у фреймворки для інференсу Hugging Face TGI та Transformers. (Джерело: BlockBeats)