Hugging Faceが正式にKernelsをリリース、GPU演算子はモデルのように一行のコードでセットアップ可能に

ME News ニュース、2023年4月15日（UTC+8）、1M AI News の監視によると、Hugging Face のCEO Clem Delangueは Kernels の正式リリースを Hub で発表しました。GPU オペレーターは、グラフィックカードの性能を最大限に引き出すための低レベル最適化コードであり、推論とトレーニングを1.7倍から2.5倍高速化できますが、インストールは常に悪夢でした：最も一般的な FlashAttention を例にとると、ローカルでのコンパイルには約96GBのメモリと数時間を要し、PyTorch バージョンや CUDA バージョンのわずかな違いでエラーになり、多くの開発者はこの段階で行き詰まっていました。 Kernels Hub はコンパイルをクラウドに移行します。Hugging Face はさまざまなGPUとシステム環境で事前にオペレーターをコンパイルし、開発者は一行のコードを書くだけで、Hub がハードウェア環境に自動的にマッチングし、数秒以内に事前コンパイル済みのファイルをダウンロードして直接使用可能にします。同じプロセス内で複数の異なるバージョンのオペレーターをロードでき、torch.compile との互換性もあります。 Kernels は昨年6月にテスト運用を開始し、今月、Models、Datasets、Spaces と並ぶ Hub の主要リポジトリタイプにアップグレードされました。現在、61個の事前コンパイル済みオペレーターがあり、注意機構、正規化、ハイブリッドエキスパートルーティング、量子化などの一般的なシナリオをカバーし、NVIDIA CUDA、AMD ROCm、Apple Metal、Intel XPU の4つのハードウェアアクセラレーションプラットフォームをサポートしています。これらは Hugging Face の推論フレームワーク TGI と Transformers ライブラリに統合されています。（出典：BlockBeats）