Hugging Face официально запустил Kernels, GPU-операторы как модели — устанавливаются одной строкой кода

ME News Новости, 15 апреля (UTC+8), по данным мониторинга 1M AI News, генеральный директор Hugging Face Клем Деланг объявил о запуске Kernels на платформе Hub. GPU-операторы — это низкоуровневый оптимизационный код, позволяющий видеокартам достигать предельной скорости, ускоряя вывод и обучение моделей в 1.7–2.5 раза, но установка всегда была кошмаром: например, для наиболее популярного FlashAttention локальная компиляция требует около 96 ГБ памяти и нескольких часов, любые несовпадения версий PyTorch или CUDA вызывают ошибки, и большинство разработчиков застревают на этом этапе. Kernels Hub переносит компиляцию в облако. Hugging Face заранее компилирует операторы под различные видеокарты и системные окружения, разработчик пишет одну строку кода, Hub автоматически подбирает аппаратное обеспечение, и за несколько секунд скачивает предварительно скомпилированный файл, который сразу можно использовать. В одном процессе можно загружать несколько разных версий операторов, совместимых с torch.compile. Kernels был протестирован и запущен в июне прошлого года, а в этом месяце обновлен до уровня репозитория Hub, наряду с Models, Datasets и Spaces. В настоящее время доступно 61 предварительно скомпилированный оператор, охватывающий такие популярные сценарии, как механизмы внимания, нормализация, маршрутизация гибридных экспертов, квантование и др., поддерживаются платформы NVIDIA CUDA, AMD ROCm, Apple Metal и Intel XPU, он уже интегрирован в фреймворки Hugging Face TGI и Transformers. (Источник: BlockBeats)