Saya telah mengamati perusahaan-perusahaan yang menerapkan Gen AI secara skala besar, dan ada pola berulang yang sebenarnya tidak banyak dibicarakan sampai semuanya sudah terlambat: pembengkakan token. Anda mengdeploy chatbot, demo-nya terlihat hebat, tetapi setelah tiga bulan Anda menghadapi tagihan yang tidak masuk akal dan bertanya-tanya di mana semuanya salah.

Inilah yang sebenarnya terjadi. Kebanyakan tim fokus pada membuat AI bekerja, bukan pada seberapa efisien AI tersebut berjalan. Mereka memasukkan konteks sebanyak mungkin, membangun prompt sistem yang besar, membiarkan percakapan mengumpulkan riwayat tanpa batas. Setiap keputusan tampak masuk akal secara terpisah. Tapi jika dikompound-kan di ribuan interaksi harian? Di situlah anomali mulai muncul dalam laporan biaya Anda, dan saat itu Anda sudah terjebak dalam masalah yang rumit.

Izinkan saya menjelaskan apa yang saya lihat di lapangan. Seorang klien di bidang kesehatan yang saya bantu memproses catatan medis melalui sistem AI. Istilah khusus mereka—seperti electroencephalogram, immunohistochemistry—terpecah menjadi beberapa token per kata. Sementara itu, prompt sistem mereka telah berkembang menjadi beberapa ribu token hanya dari menambahkan pemeriksaan kepatuhan dan penanganan kasus tepi. Pada putaran ke-20 dari sebuah percakapan, mereka memproses lebih dari 7.000 token riwayat yang terakumulasi untuk setiap pertanyaan pengguna baru. Itu adalah penggandaan biaya sebesar 14 kali dari pertukaran pertama.

Masalah utama bukan hanya uang, meskipun itu penting. Ini adalah latensi. Pembengkakan konteks mematikan waktu respons. Seorang profesional kesehatan yang menunggu tiga detik untuk jawaban AI saat pertemuan pasien akan berhenti menggunakan alat tersebut sama sekali. Pedagang keuangan membutuhkan analisis lebih cepat dari pergerakan pasar. Ketika strategi token Anda mengabaikan latensi, Anda sudah kalah.

Lalu, apa yang benar-benar efektif? Saya melihat tim membuat kemajuan nyata dengan tiga pendekatan konkret.

Pertama, berhenti memperlakukan konteks seperti laci sampah. Terapkan pengambilan informasi yang cerdas daripada memasukkan semuanya ke dalam jendela konteks. Arsitektur RAG—di mana Anda memelihara basis pengetahuan yang diindeks dan menarik hanya yang relevan—biasanya mengurangi konsumsi token sebesar 60-90% dibandingkan dengan memasukkan semuanya ke dalam konteks. Tapi ini membutuhkan investasi nyata dalam kebersihan data dan penyetelan pengambilan. Tim yang menganggap ini sebagai plug-and-play biasanya hanya menukar satu ketidakefisienan dengan yang lain.

Kedua, rancang percakapan secara berbeda. Kebanyakan implementasi AI percakapan memutar ulang seluruh riwayat setiap kali giliran. Gunakan ringkasan untuk mengompres pertukaran lama, segmentasikan percakapan di titik-titik alami, terapkan caching prompt untuk komponen statis. Beberapa aplikasi bahkan tidak memerlukan percakapan multi-putaran—prompt satu giliran yang dirancang dengan baik seringkali mengungguli antarmuka chatbot sekaligus mengurangi biaya token secara signifikan.

Ketiga—dan di sinilah kebanyakan organisasi gagal—tetapkan tata kelola yang nyata. Anggaran token selama fase desain. Tinjauan konsumsi bulanan yang menandai peluang optimisasi. Dewan arsitektur yang memelihara alat pemantauan bersama dan mendokumentasikan apa yang berhasil. Tanpa ini, optimisasi token tetap menjadi pemikiran setelah, bukan menjadi disiplin rekayasa.

Perusahaan yang akan benar-benar menang dengan Gen AI adalah mereka yang memperlakukan token sebagai sumber daya strategis, bukan sekadar garis tagihan. Mereka memantau pola konsumsi, menangkap anomali sejak dini, dan membangun efisiensi ke dalam sistem mereka sejak hari pertama. Semua yang lain akan bangun dan menghadapi tinjauan triwulan yang tidak masuk akal dan inisiatif yang tampaknya menjanjikan di atas kertas tetapi tidak mampu skala secara praktis.