Belakangan ini, saya memiliki kesempatan untuk mempelajari Micron Technology secara mendalam. Jujur saja, saya terkejut dengan kurangnya kehadiran perusahaan ini. Tersembunyi di balik bayang-bayang Nvidia dan TSMC, mereka hampir tidak mendapatkan perhatian, tetapi mereka mendukung dasar infrastruktur AI.

Jika diingat kembali, pada tahun 2012 ketika Elpida Jepang bangkrut, yang membeli asetnya adalah Micron. Saat itu, industri memori DRAM hampir hilang dari Jepang, dikuasai oleh Samsung dan SK Hynix dari Korea Selatan. Di tengah situasi itu, Micron satu-satunya perusahaan di AS yang mampu memproduksi chip memori canggih secara massal dan bertahan.

Mengapa hal ini bisa terjadi? Di tengah perkembangan pesat AI, semua orang hanya membicarakan kecepatan komputasi. Kinerja GPU, TFLOPS, kemampuan pemrosesan. Tapi sebenarnya, bottleneck yang sesungguhnya berada di tempat lain. Itu adalah lebar pita memori.

Waktu GPU menyelesaikan perhitungan dan menunggu data menjadi lebih lama dari waktu perhitungan itu sendiri. Ini disebut tembok memori. Untuk menjalankan model dengan 700 miliar parameter, dibutuhkan sekitar 140GB memori dalam format FP16. Video memori dari GPU kelas atas seperti A100 dan H100 berkisar antara 80GB hingga 192GB. Artinya, data harus dibagi dan diproses antar beberapa kartu.

Untuk mengatasi masalah ini, Nvidia menempatkan memori berlebar pita tinggi, yaitu HBM, tepat di samping GPU. Apa itu HBM? Itu adalah DRAM yang di-vertikal-kan dalam beberapa lapisan dan dikemas di atas silikon interposer. Micron memproduksi HBM ini.

HBM bukan sekadar memori, melainkan jantung dari komputasi AI. Pada fase inferensi, beban komputasi GPU sangat rendah, dan seluruh sistem dibatasi oleh lebar pita memori. Energi yang digunakan untuk transfer data bisa 100 hingga 200 kali lipat dari energi yang dibutuhkan untuk perhitungan itu sendiri. Dengan kata lain, sebagian besar konsumsi listrik pusat data digunakan untuk transmisi bus.

Alasan Micron tidak mendapatkan perhatian adalah karena mereka tidak melakukan inovasi arsitektur yang mencolok. Nvidia berinovasi dalam desain GPU. TSMC berinovasi dalam proses pembuatan chip logika. Sementara itu, Micron bekerja secara konservatif namun esensial: kemajuan teknologi proses di satu gigamodule, kemasan bertumpuk yang kompleks, dan optimisasi efisiensi energi.

Pembuatan HBM memerlukan penumpukan vertikal beberapa lapisan DRAM, dan jika ada cacat di salah satu lapisan, seluruh modul menjadi tidak dapat digunakan. Tingkat keberhasilan (yield) HBM3E 8 lapis sekitar 61%. Untuk HBM4 dengan 12 lapis, turun menjadi sekitar 48%. Pengaruh setiap lapisan tidak hanya dijumlahkan, tetapi dikalikan secara eksponensial.

SK Hynix menguasai lebih dari 50% pasar HBM karena teknologi kapsulasi cair MR-MUF mereka secara langsung meningkatkan yield penggabungan antar lapisan. Di sisi lain, Micron menggunakan proses TC-NCF, yang kurang baik dalam pembuangan panas. Namun, HBM Micron mengonsumsi 20-30% lebih sedikit daya, sehingga memiliki keunggulan dalam efisiensi energi.

Pasar DRAM global didominasi oleh tiga perusahaan: Samsung, SK Hynix, dan Micron, yang menguasai 95%. Tapi posisi mereka sangat berbeda. Micron adalah yang tercepat dalam kemajuan teknologi proses. Mereka meningkatkan densitas memori per wafer dan menurunkan biaya produksi per bit.

Samsung menghadapi kendala yield pada proses node di bawah 14nm, sehingga laju pasokannya melambat. Kecepatan inovasi proses SK Hynix hampir setara dengan Micron.

Rasio harga terhadap laba (PER) Micron sebesar 21 kali lipat, jauh di atas 8-10 kali lipat perusahaan memori tradisional. Alasannya adalah model produksi pesanan khusus HBM. Mereka menandatangani kontrak pasokan jangka panjang dengan pelanggan seperti Nvidia, mengunci harga dan jumlah. Kapasitas produksi HBM tahun 2026 dilaporkan sudah terjual habis.

Ini secara signifikan mengurangi ketidakpastian siklus ekonomi perusahaan memori. Wall Street pun menilai ini positif dan menempatkan Micron sebagai penyedia infrastruktur. Ditambah lagi, latar belakang geopolitik bahwa AS membutuhkan kemampuan produksi memori canggih di dalam negeri juga mempercepat aliran dana dari investor institusional.

Medan perang berikutnya untuk HBM adalah CXL. CXL adalah singkatan dari Compute Express Link, protokol berbagi memori antar beberapa server dan secara otomatis mengelola konsistensi cache. Di pusat data skala besar, tingkat idle memori mencapai 20-30%. CXL memori pooling dapat menyelesaikan masalah ini.

Micron mengumumkan modul ekstensi memori CXL Tipe 3. HBM menawarkan bandwidth sangat tinggi hingga ratusan gigabyte dan latensi rendah, sementara modul CXL mampu menampung kapasitas hingga terabyte dan menyediakan alokasi memori yang fleksibel. Dengan menggabungkan keduanya, data panas yang sering diakses dapat diproses di HBM lokal, sementara data dingin dipindahkan ke pool memori CXL.

Jika menjawab pertanyaan apa itu HBM, jawabannya adalah itu bukan sekadar memori, melainkan produk yang tak terelakkan dalam evolusi infrastruktur AI. Di tengah pertumbuhan kemampuan komputasi yang jauh melampaui pertumbuhan lebar pita memori, satu-satunya solusi untuk mengatasi bottleneck fisik ini adalah HBM.

Dalam jangka panjang, industri semikonduktor akan menghadapi batasan ilmu material. Miniaturisasi planar mendekati batas fisik, dan penurunan yield dari proses 3D stacking meningkat secara eksponensial. Komputasi dalam memori juga menghadapi kontradiksi mendasar prosesnya. Transistor DRAM membutuhkan tegangan drain rendah, sedangkan chip logika membutuhkan tegangan ambang rendah. Kedua kebutuhan ini bertentangan secara fundamental.

Pada akhirnya, daya saing Micron tidak bergantung pada satu teknologi tunggal, melainkan pada kemampuan komprehensif untuk meminimalkan kesalahan di berbagai aspek seperti peningkatan yield, proses kemasan, dan integrasi sistem. Mengumpulkan kemampuan ini membutuhkan puluhan tahun pengalaman manufaktur. Inilah yang disebut sebagai parit yang sesungguhnya.