1/ 🧠 Mengapa personal AI computer masa depan (seperti NVIDIA DGX Spark) benar-benar bisa bersaing dengan data center?

Bukan karena desktop menjadi begitu kuat sehingga menggantikan cloud, melainkan karena "struktur permintaan" AI sedang terbelah —
Pelatihan tetap di cloud, inferensi kembali ke lokal.
2/ Terobosan kunci pertama: FP4 mengubah aturan main
Model dengan 70 miliar parameter, menggunakan FP16 membutuhkan 140 GB memori;
Beralih ke FP4 → hanya perlu 35 GB.
Sebuah desktop dengan memori terpadu 128 GB dapat menjalankan model yang sebelumnya membutuhkan 8 kartu H100 untuk dimuat.
Kerugian presisi? Dengan QAT (Quantization-Aware Training) hampir bisa diabaikan.
3/ Terobosan kunci kedua: Memory Wall sedang dipecahkan
Bandwidth LPDDR5X tidak mencukupi?
• Apple M4 Ultra menggunakan lebar bit yang sangat lebar hingga ~800 GB/s
• LPDDR6 (2027) bandwidth berlipat ganda
• NVIDIA DGX Spark menggunakan GB10 + arsitektur memori koheren
Desktop bukan lagi "GPU yang dikebiri", melainkan "spesies baru yang dioptimalkan untuk inferensi".
4/ Terobosan kunci ketiga: Anda sama sekali tidak membutuhkan data center
Data center memecahkan:
✅ Melatih model frontier (parameter triliunan)
✅ Melayani puluhan miliar pengguna secara konkuren
Yang dibutuhkan individu:
✅ Otak lokal yang bisa menjalankan model 70B–200B
✅ Privasi, latensi rendah, tanpa biaya bulanan
Kedua hal ini pada dasarnya adalah masalah yang berbeda.
5/ Implikasi investasi 💡
• HBM masih menjadi raja di sisi pelatihan (SK Hynix, Micron)
• Tapi chip inferensi tepi + LPDDR/memori terpadu bandwidth tinggi akan menjadi medan perang baru dekade berikutnya
• NVIDIA DGX Spark, Apple Silicon, AMD Strix Halo, Qualcomm X Elite — semuanya mengambil posisi
Masa depan bukanlah cloud vs desktop, melainkan cloud untuk pelatihan, desktop untuk AI Anda.