Hugging Face lanza oficialmente Kernels, los operadores de GPU como modelos, listos con una línea de código

Noticias de ME News, 15 de abril (UTC+8), según la monitorización de 1M AI News, el CEO de Hugging Face, Clem Delangue, anunció que Kernels está oficialmente en línea en Hub.
Los operadores de GPU son códigos de optimización de bajo nivel que permiten que las tarjetas gráficas alcancen velocidades extremas, acelerando la inferencia y el entrenamiento entre 1.7 y 2.5 veces, pero la instalación siempre ha sido una pesadilla: tomando como ejemplo el más común FlashAttention, la compilación local requiere aproximadamente 96 GB de memoria y varias horas, y una pequeña diferencia en la versión de PyTorch o CUDA provoca errores, la mayoría de los desarrolladores se quedan atascados en este paso.
Kernels Hub traslada la compilación a la nube.
Hugging Face compila previamente los operadores en diferentes entornos de tarjetas gráficas y sistemas, los desarrolladores solo necesitan escribir una línea de código, y Hub automáticamente ajusta a la hardware, descargando archivos precompilados en segundos y listos para usar.
El mismo proceso puede cargar múltiples versiones diferentes de operadores, siendo compatible con torch.compile.
Kernels fue probado y lanzado en junio del año pasado, y este mes se actualizó a un nivel de repositorio Hub de primer nivel, junto a Models, Datasets y Spaces.
Actualmente cuenta con 61 operadores precompilados, cubriendo escenarios comunes como mecanismos de atención, normalización, enrutamiento de expertos híbridos, cuantización, entre otros, soportando plataformas de aceleración de hardware como CUDA de Nvidia, ROCm de AMD, Metal de Apple y XPU de Intel, y ya está integrado en el marco de inferencia TGI y la biblioteca Transformers de Hugging Face.
(Origen: BlockBeats)