Hugging Face secara resmi meluncurkan Kernels, operator GPU seperti model yang diinstal dengan satu baris kode

Berita ME News, 15 April (UTC+8), menurut pemantauan 1M AI News, CEO Hugging Face Clem Delangue mengumumkan bahwa Kernels resmi diluncurkan di Hub. Operator GPU adalah kode optimisasi tingkat rendah yang memungkinkan kartu grafis mencapai kecepatan maksimum, dapat mempercepat inferensi dan pelatihan sebesar 1,7 hingga 2,5 kali, tetapi instalasi selalu menjadi mimpi buruk: sebagai contoh yang paling umum, FlashAttention, kompilasi lokal membutuhkan sekitar 96GB memori dan beberapa jam, versi PyTorch dan CUDA yang sedikit tidak cocok akan menyebabkan error, sebagian besar pengembang terjebak pada langkah instalasi ini. Kernels Hub memindahkan kompilasi ke cloud. Hugging Face telah menyiapkan operator yang dikompilasi sebelumnya untuk berbagai kartu grafis dan lingkungan sistem, pengembang cukup menulis satu baris kode, Hub secara otomatis mencocokkan lingkungan perangkat keras, dan file yang sudah dikompilasi dapat diunduh dan langsung digunakan dalam hitungan detik. Proses yang sama dapat memuat beberapa versi operator yang berbeda, kompatibel dengan torch.compile. Kernels diuji coba dan diluncurkan pada Juni tahun lalu, bulan ini ditingkatkan menjadi tipe repositori tingkat utama di Hub, sejajar dengan Models, Datasets, dan Spaces. Saat ini sudah ada 61 operator yang dikompilasi sebelumnya, mencakup mekanisme perhatian, normalisasi, routing ahli campuran, kuantisasi, dan skenario umum lainnya, mendukung empat platform akselerasi perangkat keras: Nvidia CUDA, AMD ROCm, Apple Metal, dan Intel XPU, serta telah terintegrasi ke dalam kerangka inferensi Hugging Face TGI dan pustaka Transformers. (Sumber: BlockBeats)