Inilah pembagian dalam komputasi AI yang tidak banyak dibaca dengan benar.

Pelatihan frontier semakin terkonsentrasi setiap kuartal, ribuan GPU yang harus ditempatkan di satu tempat dan dihubungkan. Namun pelatihan hanya 30% dari permintaan pada tahun 2026. 70% lainnya adalah inferensi, dan menjalankannya di hyperscaler berarti membayar infrastruktur yang dibangun untuk beban kerja terberat untuk melakukan yang termudah.
Di jaringan terdistribusi, inferensi yang sama bisa berjalan 45-75% lebih murah dan bagi siapa pun yang menyusun anggaran infrastruktur AI, kesenjangan itulah intinya.
Pelatihan terpusat karena kebutuhan. Inferensi terfragmentasi karena membayar margin AWS untuk beban kerja yang tidak membutuhkannya tidak masuk akal dalam skala besar.