Hugging Face secara resmi meluncurkan Kernels, operator GPU seperti model cukup satu baris kode untuk dipasang

Berita ME News, 15 April (UTC+8), menurut pemantauan 1M AI News, CEO Hugging Face Clem Delangue mengumumkan bahwa Kernels resmi diluncurkan di Hub. Operator GPU adalah kode optimisasi tingkat rendah yang memungkinkan kartu grafis mencapai kecepatan maksimal, dapat mempercepat inferensi dan pelatihan sebesar 1,7 hingga 2,5 kali, tetapi instalasi selalu menjadi mimpi buruk: sebagai contoh yang paling umum, FlashAttention, kompilasi lokal membutuhkan sekitar 96GB memori dan beberapa jam, versi PyTorch dan CUDA yang sedikit tidak cocok akan menyebabkan error, sebagian besar pengembang terjebak pada langkah instalasi ini. Kernels Hub memindahkan kompilasi ke cloud. Hugging Face telah mengompilasi operator di berbagai lingkungan kartu grafis dan sistem sebelumnya, pengembang hanya perlu menulis satu baris kode, Hub secara otomatis mencocokkan lingkungan perangkat keras, dan mengunduh file yang sudah dikompilasi dalam hitungan detik sehingga langsung dapat digunakan. Proses yang sama dapat memuat beberapa versi operator yang berbeda, kompatibel dengan torch.compile. Kernels diuji dan diluncurkan pada Juni tahun lalu, bulan ini ditingkatkan menjadi tipe repositori utama di Hub, sejajar dengan Models, Datasets, Spaces. Saat ini sudah ada 61 operator yang sudah dikompilasi sebelumnya, mencakup mekanisme perhatian, normalisasi, routing ahli campuran, kuantisasi, dan skenario umum lainnya, mendukung empat platform akselerasi perangkat keras: Nvidia CUDA, AMD ROCm, Apple Metal, dan Intel XPU, telah terintegrasi ke dalam kerangka inferensi Hugging Face TGI dan pustaka Transformers. (Sumber: BlockBeats)