ブラウザで大規模モデルを動かす時代がついに到来、クラウドサービスの顔色を気にせずに済む。ローカルGPUで直接起動できる。

llama.cpp と ggml の公式 WebGPU バックエンドが正式リリースされ、ブラウザでローカルGPUによる GGUF 大規模モデルの高速実行が可能に。純粋に端末側で、データはデバイス外に出さず、ゼロ設定のプライバシー推論を実現。論文によると、静的メモリ計画と効率的なロードにより、ウェブ端のGPUメモリ使用量を29〜33％削減し、インテル、Apple、NVIDIAデバイス間でのデコードスループットを45〜69％向上させた。デモはwllamaを基にしており、基礎最適化は論文の予想を超えるものとなっている。さらに、Google C++ WebGPU Dawnを用いてローカルでコンパイル可能で、VulkanとWebGPUの比較ベンチマークも提供している。