Hugging Face lança oficialmente os Kernels, operadores GPU como modelos, prontos com uma linha de código

Notícias do ME News, 15 de abril (UTC+8), de acordo com a monitorização da 1M AI News, o CEO da Hugging Face, Clem Delangue, anunciou o lançamento oficial do Kernels no Hub.
Operadores GPU são códigos de otimização de baixo nível que permitem às placas gráficas atingir velocidades extremas, podendo acelerar a inferência e o treino de 1,7 a 2,5 vezes, mas a instalação tem sido um pesadelo: tomando como exemplo o FlashAttention mais comum, a compilação local requer cerca de 96GB de memória e várias horas, a versão do PyTorch e a versão do CUDA, se estiverem ligeiramente incorretas, geram erros, e a maioria dos desenvolvedores fica presa nesta etapa de instalação.
O Kernels Hub traz a compilação para a nuvem.
A Hugging Face compila previamente os operadores em vários ambientes de placas gráficas e sistemas, os desenvolvedores escrevem uma linha de código, o Hub faz a correspondência automática ao hardware, e em poucos segundos o arquivo pré-compilado é baixado e pode ser usado diretamente.
O mesmo processo pode carregar múltiplas versões diferentes de operadores, compatível com torch.compile.
O Kernels foi testado e lançado em junho do ano passado, e neste mês foi atualizado para o nível de repositório Hub, ao lado de Models, Datasets e Spaces.
Atualmente, há 61 operadores pré-compilados, cobrindo cenários comuns como mecanismos de atenção, normalização, roteamento de especialistas híbridos, quantização, entre outros, suportando plataformas de hardware acelerado NVIDIA CUDA, AMD ROCm, Apple Metal e Intel XPU, já integrados ao framework de inferência da Hugging Face, TGI, e à biblioteca Transformers.
(Fonte: BlockBeats)