Saya melihat tren menarik di pasar. Perusahaan-perusahaan yang baru-baru ini dengan mewah membelanjakan token, seolah-olah itu air dari keran, sekarang duduk di atas perhitungan dengan kalkulator di tangan. Era freeuse secara resmi telah berakhir.

Dua tahun yang lalu semuanya sederhana. Investor besar membayar tagihan, kami menulis prompt panjang, mengirimkan seluruh dokumen PDF ke model, dan tidak ada yang peduli. Sekarang? Setiap token adalah uang nyata. Bukan unit kondisional, tetapi kas nyata.

Apa yang benar-benar berubah? Pertama, biaya daya komputasi meningkat pesat. Perjuangan untuk chip NVIDIA H100 telah berubah menjadi konflik geopolitik. Kedua, ketika volume permintaan API harian melebihi jutaan, dan "1K Tokens" yang kecil tiba-tiba menjadi mesin penghisap uang. Token disamakan dengan mata uang nyata.

Saya mengerti bahwa banyak orang tidak memahami ke mana uang pergi. Melihat ke rekening — terkejut. Tapi masalahnya bukan pada harga itu sendiri, melainkan bagaimana kita menghabiskannya. Solusinya ada dalam tiga hal: caching semantik, kompresi prompt, dan routing model. Ini bukan lagi kemewahan, tetapi kebutuhan.

Caching semantik — cara termudah untuk menghemat. Pengguna bertanya "Bagaimana cara mereset password?" ratusan kali sehari. Mengapa harus menjalankan GPT-4 setiap saat? Pertama, kita hitung, hasilnya cache, dan permintaan berikutnya dikembalikan dari cache. Penundaan dari detik berubah menjadi milidetik, biaya hampir nol.

Kompresi prompt — ini sudah operasi bedah. Algoritma menganalisis kata-kata yang penting secara kritis dan yang tidak perlu. Teks bisa dipadatkan dari 1000 token menjadi 300, sambil mempertahankan maknanya. Saya membiarkan mesin berkomunikasi dalam bahasanya sendiri — hasilnya sama, biaya berkurang 70%.

Routing model — ini pekerjaan arsitektur. Tidak semua membutuhkan GPT-4o. Pengambilan data sederhana? Routing ke Llama 3 8B yang murah atau Claude 3 Haiku. Logika kompleks? Tentu, gunakan model yang kuat. Seperti di perusahaan: resepsionis tidak meneruskan pertanyaan langsung ke CEO.

Saya mengamati bagaimana tim terdepan melakukannya. OpenClaw di perangkat mobile hampir mengendalikan token. Alih-alih generasi bebas, mereka memaksa model mengisi JSON Schema. Ini terlihat membatasi, tetapi sebenarnya menghemat trafik. Hermes Agent mengambil jalan lain — memori dinamis. Menyimpan 3–5 percakapan terakhir, yang lebih lama diringkas dengan model ringan dan disimpan dalam basis vektor. Ini bukan sekadar pengendalian, tetapi manajemen konteks secara bedah.

Sekarang yang terpenting adalah perubahan pola pikir. Dulu, token diperlakukan sebagai barang konsumsi. Melihat diskon — dimasukkan ke keranjang. Secara buta-buta menghubungkan LLM ke semuanya, bahkan agar AI membuat menu kantin. Tagihan di akhir bulan — kejutan.

Sekarang, kita harus beralih ke pola pikir investasi. Setiap token adalah investasi. Tanya diri sendiri: apa yang saya dapatkan dari ini? Apakah tingkat penyelesaian tiket meningkat? Apakah waktu perbaikan bug berkurang? Atau ini hanya hiburan? Jika fungsi berbasis aturan biaya 10 sen, dan LLM memerlukan satu dolar per token, tetapi meningkatkan konversi sebesar 2%, maka kita potong tanpa ragu.

Kita beralih dari solusi "besar dan komprehensif" ke "kecil dan presisi" yang lebih terfokus. Ketika bisnis bertanya: "Bisakah AI membaca 100 ribu laporan?", saya bertanya: "Apakah pendapatan mencakup beberapa juta token?" Hitung. Hemat. Hitung token seperti pemilik toko produk.

Terdengar jauh dari teknologi, lebih seperti pertanian. Tapi inilah tahap kedewasaan industri AI. Era subsidi tanpa batas telah berakhir. Yang tersisa adalah mereka yang memahami arsitektur, tahu cara mengoptimalkan di perangkat mobile, dan melihat angka token dengan perhitungan dingin. Ketika arusnya surut, akan terlihat siapa yang berenang telanjang. Kali ini, mereka adalah perusahaan yang tidak belajar menghemat. Mereka yang mengeruk setiap tetes seperti emas akan bertahan.