Hugging Face официально запустил Kernels, GPU-операторы как модели — установка за одну строку кода

ME News Новости, 15 апреля (UTC+8), по данным мониторинга 1M AI News, генеральный директор Hugging Face Clem Delangue объявил о официальном запуске Kernels на Hub. GPU оператор — это низкоуровневый оптимизационный код, позволяющий видеокарте показывать максимальную скорость, ускоряющий вывод и обучение в 1.7-2.5 раза, но установка всегда была кошмаром: возьмем для примера наиболее популярный FlashAttention, локальная компиляция требует около 96 ГБ памяти и нескольких часов, любые небольшие несоответствия версий PyTorch или CUDA вызывают ошибки, и большинство разработчиков застревают на этом этапе. Kernels Hub переносит компиляцию в облако. Hugging Face заранее компилирует операторы под различные видеокарты и системные окружения, разработчик пишет одну строку кода, Hub автоматически подбирает аппаратное обеспечение, и за несколько секунд скачивает предварительно скомпилированный файл, который сразу можно использовать. В одном процессе можно загружать несколько разных версий операторов, совместимых с torch.compile. Kernels прошли тестирование и запуск в июне прошлого года, в этом месяце обновлены до уровня репозитория Hub, наряду с Models, Datasets и Spaces. В настоящее время доступно 61 предварительно скомпилированный оператор, охватывающий такие популярные сценарии, как механизмы внимания, нормализация, маршрутизация гибридных экспертов, квантование и другие, поддерживают четыре аппаратных ускорителя: NVIDIA CUDA, AMD ROCm, Apple Metal и Intel XPU, уже интегрированы в фреймворки для вывода Hugging Face TGI и Transformers. (Источник: BlockBeats)