Sesuatu yang diam-diam berbalik dalam komputasi AI tahun ini, dan itu mengubah untuk apa sebenarnya pembangunan itu.

Pada tahun 2023, 2/3 dari komputasi AI digunakan untuk pelatihan, pekerjaan sebenarnya dalam membangun model. Bagian lainnya yang lebih kecil digunakan untuk inferensi, pekerjaan menjalankannya setelah jadi. Namun rasio itu diam-diam mulai berbalik.
Inferensi kini menjadi 2/3 dan masih meningkat, menurut Deloitte, dan chip yang dibuat untuk menjalankannya telah melampaui $50B tahun ini.
Alasan utama pembalikan ini penting (dan bukan dari segi persentase): pelatihan dan inferensi adalah dua hal yang berbeda. Pelatihan terjadi secara terputus-putus, pada satu kluster raksasa, lalu selesai. Inferensi tidak pernah berhenti. Ia berjalan setiap kali seseorang mengirim perintah atau agen mengambil langkah, dan ia berskala dengan setiap pengguna yang Anda tambahkan. Yang satu adalah proyek konstruksi. Yang lain adalah tagihan utilitas yang tumbuh selamanya.
Setiap asumsi tentang infrastruktur AI dibangun di sekitar pelatihan, karena di situlah uang mengalir. Uang itu baru saja berpindah ke beban kerja yang tidak perlu berada dalam satu kluster tunggal untuk berjalan.