تشغيل النماذج الكبيرة في المتصفح أخيرًا لم يعد يتطلب النظر إلى مزودي خدمات السحابة، بطاقة GPU المحلية تنطلق مباشرة

llama.cpp و ggml يطلقان رسميًا دعم WebGPU من قبل الفريقين، مما يتيح تشغيل نماذج GGUF الكبيرة بسرعة على GPU المحلي في المتصفح، مع معالجة كاملة على الجانب المحلي وعدم إرسال البيانات خارج الجهاز، لتحقيق استنتاج خاص بدون إعدادات. تقول الورقة البحثية إن تخطيط الذاكرة الثابت والتحميل الفعال يقللان من استهلاك الذاكرة على الويب بنسبة 29-33%، مع تحسين معدل فك التشفير عبر أجهزة إنتل، أبل، ونيفيديا بنسبة 45-69%. العرض التوضيحي المستند إلى wllama يتجاوز التحسينات المتوقعة من الورقة من حيث الأداء، كما يمكن الترجمة عبر Google C++ WebGPU Dawn على الجهاز المحلي، مع تقديم معايير مقارنة بين Vulkan و WebGPU.