Google meluncurkan model sumber terbuka Gemma 4 12B, dapat dijalankan secara lokal dengan laptop konsumen 16GB

Google rilis tambahan keluarga Gemma dengan celah: model baru 12B parameter hanya membutuhkan 16GB memori untuk dijalankan secara lokal di laptop konsumen, skor pengujian resmi mendekati versi MoE 26B yang dua kali lebih besar.
（Latar belakang: Google meluncurkan aplikasi AI baru Dreambeans! Ubah kehidupan sehari-harimu menjadi "cerita kartun" edisi terbatas）
（Informasi tambahan: Google gencar mengembangkan AI! Alphabet memperluas pendanaan saham hingga 85 miliar dolar, mendapatkan suntikan modal dari Berkshire Hathaway sebesar ratusan miliar dolar）

Pada 3 Juni, Google merilis Gemma 4 12B, model ini tidak memerlukan perangkat keras yang mahal, tidak perlu akselerator AI seharga puluhan ribu dolar, cukup komputer dengan 16GB memori sistem (RAM) atau memori kartu grafis (VRAM) untuk dijalankan secara lokal.

Kekosongan dalam keluarga Gemma 4

Pada bulan April tahun ini, Google pertama kali meluncurkan keluarga Gemma 4 yang terdiri dari empat model: E2B dan E4B yang dioptimalkan untuk perangkat mobile, serta 26B MoE dan 31B Dense yang ditujukan untuk server. Ini adalah lini produk yang mencakup dari edge ringan hingga cloud berat, tetapi ada celah yang jelas di tengahnya, versi mobile terlalu ringan, dan di atas 26B membutuhkan perangkat keras yang cukup tinggi, sehingga hampir tidak ada opsi untuk skenario laptop lokal.

12B dirancang untuk mengisi posisi ini.

Sebagai penjelasan tambahan, 26B MoE adalah "model ahli campuran", MoE berarti: model memanggil sebagian ahli neuron sesuai kebutuhan, sehingga tidak perlu mengaktifkan semua parameter setiap kali inferensi. Singkatnya, arsitektur ini memungkinkan model hanya mengaktifkan subset tertentu saat menghitung, dan versi 26B setiap token hanya menggunakan sekitar 4B parameter. Tapi konsekuensinya, semua 26 miliar parameter harus dimuat ke memori sebelumnya untuk menjaga kecepatan routing dan inferensi, sehingga penggunaan memori mendekati model dense berukuran sama.

31B Dense adalah "model padat", yang menggunakan seluruh parameter setiap inferensi secara tradisional. Singkatnya, tidak ada penghematan, setiap jawaban dihasilkan secara penuh. Dibandingkan, Gemma 4 12B membutuhkan sekitar 8,1GB memori, sekitar separuh dari 26B MoE.

Selain itu, keluarga Gemma 4 mengikuti lisensi Apache 2.0 yang diadopsi tahun ini, sebuah lisensi terbuka yang mengizinkan penggunaan komersial, modifikasi, dan redistribusi, sehingga pengembang dapat langsung menggunakannya untuk produk mereka tanpa perlu mengajukan izin secara terpisah.

"Hampir sekuat itu"

Google mengklaim dalam pengumumannya bahwa performa Gemma 4 12B "hampir sekuat" dalam berbagai pengujian standar, cukup untuk menyamai model MoE 26B yang dua kali lebih besar. Pengujian resmi mencakup indikator seperti GPQA Diamond (penalaran ilmiah tingkat pascasarjana), MMLU Pro (pengetahuan multi-disiplin), DocVQA (pertanyaan visual dokumen), dan lain-lain, angka-angkanya memang mendekati versi 26B.

Namun, ada beberapa hal yang perlu dipertimbangkan secara hati-hati terkait angka-angka ini.

Pertama, ini adalah skor resmi yang dinilai oleh Google sendiri, belum diverifikasi secara independen oleh pihak ketiga. Skor standar hanyalah titik awal, bukan akhir, dan perbedaan dalam aplikasi nyata bisa lebih besar atau lebih kecil dari yang ditunjukkan angka tersebut. Kedua, "dapat dijalankan dengan 16GB" secara teknis benar, tetapi pengujian menunjukkan penggunaan memori sekitar 8,1GB, yang bagi laptop harian yang juga menjalankan browser dan perangkat lunak pengolah dokumen, ruang tersisa cukup ketat, tidak semua orang bisa menjalankan dengan lancar.

Gemma 4 12B juga merupakan model multimodal, menggunakan arsitektur unifikasi tanpa encoder, artinya model yang sama dapat langsung memproses input teks, gambar, audio, dan video tanpa perlu menambahkan komponen encoder terpisah.