Era Revolusi Industri, semakin murah batu bara, semakin banyak orang membakarnya. Sekarang di era AI, Token juga begitu

Token menjadi murah, produk AI malah bisa membakar lebih banyak
Dulu kamu bertanya satu kalimat, model menjawab satu kalimat, selesai
Sekarang kamu klik, Agen di latar belakang membagi tugas, mencari data, menyesuaikan alat, menulis kode, memperbaiki kesalahan, merangkum, menjalankan seluruh rangkaian proses
Jadi token tunggal menjadi murah, tetapi satu tugas menghabiskan terlalu banyak Token
Itulah sebabnya tagihan terus meningkat
Setelah mesin uap lebih hemat batu bara, Inggris tidak mengurangi pembakaran batu bara. Karena batu bara menjadi lebih ekonomis, lebih banyak mesin, pabrik, dan kereta api mulai membakar batu bara
Token juga mengikuti logika ini
Setelah murah, Agen, Penelitian Mendalam, Pemrograman AI, konteks panjang, otomatisasi perusahaan benar-benar mulai berjalan
Jadi pusat biaya AI beralih dari pelatihan ke inferensi
Pelatihan hanya membakar sebentar, inferensi membakar terus-menerus. Pengguna online, itu terus membakar. Agen berjalan, itu terus membakar. Semakin panjang konteksnya, semakin besar cache-nya, memori, bandwidth, listrik, pendinginan semuanya ikut terbebani
Itulah mengapa rantai industri AI tidak bisa hanya melihat GPU saja
HBM, DRAM, SSD, kemasan canggih, modul optik, chip pertukaran, CPU, chip inferensi, semuanya akan dinilai ulang karena permintaan inferensi ini
Perusahaan aplikasi AI juga akan dipaksa berlapis-lapis
Hanya membungkus satu lapisan antarmuka, bergantung sepenuhnya pada API tertutup, semakin banyak pengguna, tagihan semakin besar, margin semakin tipis
Penghalang sebenarnya akan semakin menurun: routing, kuantisasi, cache, batch processing, pemotongan konteks, penggantian model besar dengan model kecil
Hmm, Token adalah batu bara