Gemma 4 akhirnya stabil di llama.cpp

Pada 2 April, Google merilis Gemma 4, dan pada hari pertama, dukungan llama.cpp sudah tersedia tetapi dengan banyak bug. Sekarang semua masalah telah diperbaiki
E2B, E4B, 26B MoE, 31B Dense
31B menempati posisi ketiga di papan peringkat Arena AI, 26B menempati posisi keenam
Tier terkuat dari model sumber terbuka
Gunakan --chat-template-file untuk memuat template yang diselingi
Disarankan untuk mengaktifkan --cache-ram 2048
Panjang konteks tergantung pada VRAM
Tahun lalu, model lokal terbaik adalah Llama 3.1 versi 70B yang dikonversi, hampir tidak bisa digunakan
Sekarang, Gemma 4 31B Q5 berjalan lancar di Mac Studio, mendekati level GPT-4
Aplikasi AI yang tidak bergantung pada API mulai memiliki kelayakan komersial. Data tetap di mesin lokal, tanpa biaya, latensi sangat rendah
Untuk bisnis satu orang, model lokal adalah infrastruktur nyata. Sementara pesaing membayar biaya API, biaya marginal Anda hanya listrik
Gemma 4 + llama.cpp = solusi optimal untuk inferensi lokal, siap untuk produksi