Hugging Face офіційно запустила Kernels, GPU-оператори як моделі — один рядок коду для налаштування

ME News Новини, 15 квітня (UTC+8), згідно з моніторингом 1M AI News, генеральний директор Hugging Face Клем Деланг заявив про офіційний запуск Kernels на Hub. GPU оператори — це низькорівневий код оптимізації, який дозволяє відеокартам працювати на максимально можливій швидкості, прискорюючи обчислення для виведення та тренування на 1.7 до 2.5 разів, але установка завжди була кошмаром: взяти для прикладу найпоширеніший FlashAttention, локальна компіляція потребує близько 96 ГБ пам’яті та кілька годин, неправильна версія PyTorch або CUDA викликає помилки, і більшість розробників застрягає на цьому етапі. Kernels Hub переносить компіляцію в хмару. Hugging Face попередньо компілює оператори для різних графічних карт і системних середовищ, розробник пише один рядок коду, а Hub автоматично підбирає апаратне забезпечення, і за кілька секунд завантажує попередньо скомпільовані файли, які можна одразу використовувати. У одному процесі можна завантажити кілька різних версій операторів, сумісних з torch.compile. Kernels були запущені для тестування у червні минулого року і цього місяця оновлені до рівня Hub — основного репозиторію поряд з Models, Datasets і Spaces. Наразі вже є 61 попередньо скомпільований оператор, що охоплює механізми уваги, нормалізацію, маршрутизацію гібридних експертів, кілька типів квантування та інші поширені сценарії, підтримує платформи апаратного прискорення NVIDIA CUDA, AMD ROCm, Apple Metal та Intel XPU, і вже інтегрований у фреймворки для виведення та трансформери Hugging Face, такі як TGI та Transformers. (Джерело: BlockBeats)