Hugging Face lança oficialmente os Kernels, operadores GPU como modelos, prontos com uma linha de código

Notícias do ME News, 15 de abril (UTC+8), de acordo com a monitorização da 1M AI News, o CEO da Hugging Face, Clem Delangue, anunciou o lançamento oficial do Kernels no Hub. Os operadores de GPU são códigos de otimização de baixo nível que permitem às placas gráficas atingir velocidades extremas, podendo acelerar a inferência e o treino entre 1,7 e 2,5 vezes, mas a instalação sempre foi um pesadelo: tomando como exemplo o FlashAttention mais comum, a compilação local requer cerca de 96GB de memória e várias horas, e versões incorretas de PyTorch ou CUDA causam erros, fazendo com que a maioria dos desenvolvedores fiquem presos nesta etapa. O Kernels Hub traz a compilação para a nuvem. A Hugging Face pré-compila operadores em várias configurações de placas gráficas e ambientes de sistema, os desenvolvedores escrevem uma linha de código, o Hub faz a correspondência automática ao hardware, e em poucos segundos o arquivo pré-compilado fica disponível para uso imediato. O mesmo processo permite carregar múltiplas versões diferentes de operadores na mesma sessão, compatível com torch.compile. O Kernels foi testado e lançado em junho do ano passado, e neste mês foi atualizado para o nível de repositório do Hub, ao lado de Models, Datasets e Spaces. Atualmente, há 61 operadores pré-compilados, cobrindo cenários comuns como mecanismos de atenção, normalização, roteamento de especialistas híbridos, quantização, entre outros, suportando plataformas de aceleração de hardware como CUDA da Nvidia, ROCm da AMD, Metal da Apple e XPU da Intel, já integrados ao framework de inferência TGI e à biblioteca Transformers da Hugging Face. (Fonte: BlockBeats)