Executar grandes modelos no navegador finalmente já não depende da cara dos fornecedores de serviços em nuvem, GPU local a decolar diretamente

llama.cpp e o backend oficial do ggml para WebGPU foram lançados oficialmente, permitindo que navegadores executem modelos GGUF acelerados por GPU local, totalmente no lado do dispositivo, sem vazamento de dados, garantindo inferência privada sem configuração.
O artigo afirma que o planejamento de memória estática e o carregamento eficiente reduzem o uso de memória de vídeo na web em 29–33%, com um aumento de 45–69% na taxa de decodificação em dispositivos Intel, Apple e Nvidia.
A demonstração baseada em wllama, com otimizações de baixo nível que superam as expectativas do artigo.
Também é possível compilar localmente usando Google C++ WebGPU Dawn, fornecendo benchmarks comparativos entre Vulkan e WebGPU.