Biaya daya komputasi AI terus meningkat, harga GPU 'seperti minyak' naik turun mengikuti permintaan dan penawaran.

Biaya infrastruktur AI saat ini mengalami fluktuasi yang tajam, dan ketidakpastian harga server GPU telah menjadi tantangan inti yang dihadapi oleh penyedia layanan cloud dan pengembang AI.

Menurut laporan The Information, harga server AI Nvidia terus meningkat dalam beberapa bulan terakhir karena pasokan chip memori dan komponen kunci lainnya yang ketat, dengan beberapa komponen mengalami fluktuasi harga mingguan hingga 40%. Situasi ini memaksa banyak penyedia layanan cloud untuk menaikkan harga sewa bagi pengembang AI—penyedia layanan GPU Nebius menaikkan harga sewa komputasi on-demand sekitar 30% pada 1 Juni, dan Amazon AWS kemudian mengumumkan kenaikan harga kapasitas blok EC2 sekitar 20% mulai 1 Juli.

Fluktuasi harga yang tajam ini sedang membentuk kembali struktur biaya seluruh pasar komputasi AI. Carmen Li, CEO penyedia data harga Silicon Data, menyatakan bahwa harga sewa GPU yang dikenakan penyedia layanan cloud kepada pelanggan telah menunjukkan karakteristik yang didorong oleh penawaran dan permintaan yang mirip dengan pasar komoditas seperti minyak. Pelanggan kecil dan menengah yang menyewa komputasi on-demand adalah yang paling terpukul, sementara ketidaktransparanan mekanisme penetapan harga semakin memperburuk kerugian informasi pembeli.

Biaya komponen berfluktuasi tajam, jendela penetapan harga server sangat sempit

Ketidakstabilan harga server GPU berakar pada ketatnya rantai pasokan komponen hulu.

Menurut seorang sumber yang menjual server Nvidia kepada penyedia layanan cloud, biaya komponen yang diperlukan untuk rak server dapat berfluktuasi hingga 40% dalam seminggu, termasuk wafer input yang diproduksi oleh TSMC, pengemasan kooperatif, jaringan, pendinginan, dan komponen memori yang paling signifikan. Sumber tersebut secara blak-blakan mengatakan bahwa harga rak server GPU "berfluktuasi sangat keras," "semuanya bisa berubah total dalam dua hingga tiga minggu, benar-benar tidak bisa memprediksi tren harga, hanya bisa mengunci harga dalam jendela yang sangat pendek," dan tidak dapat melakukan perencanaan biaya jangka panjang.

Seorang eksekutif penyedia layanan GPU cloud mengatakan bahwa rak server yang dibelinya mengalami kenaikan harga sekitar 2% hingga 3% setiap minggu baru-baru ini. Sementara itu, eksekutif pesaing lainnya menunjukkan bahwa drive penyimpanan NVMe dalam rak Grace Blackwell 300 Nvidia adalah sumber utama fluktuasi harga, yang beberapa bulan lalu berfluktuasi "sangat tajam," dan saat ini biaya rak berada 10% hingga 15% di atas "harga dasar" yang ditetapkannya. Tren kenaikan harga rak GB300 tampaknya mulai stabil, dengan kenaikan bulanan sekitar 1%.

Dampak fluktuasi harga diperbesar secara dramatis karena jumlah absolutnya yang besar. Hanya satu rak yang diisi penuh dengan sistem chip Grace Blackwell 300, setiap sistem chip dijual seharga $70.000, dan total harga rak penuh 72 unit sekitar $5 juta, dengan beberapa pelanggan membeli hingga ribuan unit sekaligus. Menurut seorang eksekutif pelanggan yang sedang membeli rak Vera Rubin, harga perkiraan rak model tersebut sekitar $7 juta.

Kekuatan penetapan harga ditransmisikan secara bertahap di sepanjang rantai pasokan, Nvidia dan produsen memori memegang kendali

Di balik kenaikan biaya ini adalah konsentrasi tinggi kekuatan penetapan harga di setiap tautan rantai pasokan.

Sumber penjual server tersebut mengatakan bahwa Nvidia "hampir bisa meminta harga berapa pun." Seorang juru bicara Nvidia menanggapi bahwa harga tergantung pada biaya komponen rak server, dan perusahaan bekerja sama dengan penyedia server dalam penetapan harga, dengan kemungkinan perbedaan harga antar penyedia. Data menunjukkan bahwa margin kotor Nvidia telah meningkat 15 hingga 20 poin persentase dalam beberapa tahun terakhir, menegaskan kemampuan penetapan harga pasar yang kuat.

Sementara itu, produsen chip memori yang diwakili oleh Micron memberikan tekanan penetapan harga yang serupa pada Nvidia dan pelanggan lainnya, mendorong kenaikan harga di seluruh lini produk dari Apple Mac hingga GPU Nvidia.

Carmen Li menunjukkan bahwa begitu chip meninggalkan Nvidia, harga sewa yang dikenakan penyedia layanan cloud mulai menunjukkan logika penawaran dan permintaan pasar komoditas. Datanya menunjukkan bahwa harga sewa chip Blackwell 200 telah naik sekitar 20% tahun ini; harga sewa chip Nvidia model lama telah naik lebih dari 20% selama setahun terakhir, dan kemudian stabil dalam 30 hari terakhir.

Pelanggan kecil dan menengah paling tertekan, transparansi harga pasar secara struktural kurang

Dalam gelombang kenaikan harga ini, pelanggan yang menyewa komputasi on-demand berada dalam posisi paling rentan.

Penyedia layanan cloud sedang menguji batas atas harga dalam lingkungan pasokan GPU yang ketat saat ini, atau mengalokasikan sumber daya server ke pelanggan besar, sehingga mengurangi sumber daya komputasi yang tersedia untuk pelanggan kecil dan menengah. Namun, tren harga tidak searah. Seorang eksekutif pengembang model AI mengatakan bahwa setelah harga berlipat ganda dalam satu hingga dua bulan sebelumnya, harga sebenarnya sedikit turun dalam dua minggu terakhir. Perbedaan ini mencerminkan bahwa pasar layanan cloud GPU masih dalam tahap awal yang relatif, ditambah dengan lonjakan jumlah penyedia layanan cloud GPU, struktur pasar belum stabil.

Kurangnya transparansi harga semakin memperburuk ketidakpastian pembeli. Penyedia layanan cloud GPU biasanya tidak mengungkapkan harga aktual secara publik, sehingga kekuatan penetapan harga sebenarnya ada di tangan penyedia layanan, bukan pelanggan.

Seorang investor penyedia layanan cloud GPU mengungkapkan kekhawatirannya: "Untuk pelanggan inti kami, ada titik kritis—begitu perhitungan ekonomi tidak masuk akal, bisnis mereka tidak akan berkelanjutan, dan kami sama sekali tidak ingin menyentuh garis merah ini." Pernyataan ini mengungkapkan bahwa kenaikan biaya komputasi yang terus-menerus pada akhirnya akan memberikan kendala substansial pada kelayakan komersial lapisan aplikasi AI.

Peringatan Risiko dan Ketentuan Penafian

        Pasar memiliki risiko, investasi harus hati-hati. Artikel ini bukan merupakan saran investasi pribadi, dan juga tidak mempertimbangkan tujuan investasi, kondisi keuangan, atau kebutuhan khusus pengguna individu. Pengguna harus mempertimbangkan apakah opini, pandangan, atau kesimpulan dalam artikel ini sesuai dengan situasi spesifik mereka. Investasi berdasarkan artikel ini adalah tanggung jawab sendiri.