Setelah ChatGPT ditingkatkan, ketika saya berbicara dengannya hampir tidak ada penundaan. Delay model suara real-time terbaru kira-kira 200-300 ms, dan jeda respons alami percakapan manusia juga 200-300 ms. Ini sama.

Tapi membayar harga untuk 0 delay adalah pelupa. Window konteks model suara real-time hanya 32k token, yaitu 1/300 dari model berbasis teks murni. Low-latency = memori kecil + pelupaan yang disengaja. Ingin membalas seketika sekaligus mengingat setiap kalimat yang kamu ucapkan, sekarang ini, itu dilematis.
Komputasi selalu kurang. Satu kartu 5090 butuh 2 detik untuk menghasilkan satu gambar SDXL, FLUX butuh 9 detik, melatih satu LoRA karakter membutuhkan 10-30 gambar, saat ini masih perlu satu-dua jam.
Saya menyewa 5090 sekarang harganya hampir 5000 dolar AS, daya penuh 575W, belum termasuk biaya listrik. Untuk paket kontrak 2-3 tahun, nilai komputasinya jadi ketinggalan zaman. Terlalu mahal.
15 tahun lalu kami saling kirim SMS. Lalu bisa mengirim gambar lewat MMS, kemudian kirim video, sampai sekarang panggilan video real-time HD tanpa penundaan. Satu SMS hanya 140 byte. Dari 2G dengan 9,6 kbps sampai puncak 5G 20 Gbps, perbedaannya bandwidth 2 juta kali.
Rute yang digunakan AI juga sama persis. Awalnya token teks, tahun lalu bisa gambar, sekarang suara, langkah berikutnya pasti komunikasi video tanpa delay.
Sebenarnya video sudah mulai. Gemini Live tahun lalu sudah bisa membuka kamera untuk berinteraksi secara real-time, membakar 300 token per detik, batas default 2 menit, tapi begitu selesai ngobrol langsung lupa semuanya, mahal + hasilnya buruk + berbagai dimensinya masih sangat mentah, sehingga hampir tidak bisa dipakai.
Agent sekarang masih menggunakan teks untuk perencanaan, lalu memahami dunia melalui teks, seluruh rantai penalaran adalah token. Penalaran ruang tersembunyi non-teks baru mulai dicoba.
Pemahaman AI tentang waktu juga berhenti pada teks. Model yang bisa meraih medali emas Olimpiade Matematika pun, akurasinya membaca simulasi jam hanya sekitar 50%. Sentuhan, emosi, persepsi yang terwujud, masih sangat jauh dari matang.
Ngomong-ngomong soal penyimpanan. Saya tidak terlalu merasa “selalu kurang penyimpanan”, dan kata “selalu” ini terlalu berlebihan.
Biaya penyimpanan per GB turun 99,99% selama 45 tahun, jadi dalam jangka panjang pasti makin murah.
Hanya saja sekarang AI menghabiskan memori, DRAM naik 90% per kuartal, kelangkaan yang sifatnya sementara, bukan berarti selamanya akan kehabisan stok.
Jadi apakah ini kebutuhan semu? Ciri kebutuhan semu adalah bulan ini dipakai, bulan depan sudah tidak dipakai.
Token yang diproses Google per bulan naik 7 kali dalam setahun, menjadi 32 juta miliar token. ChatGPT memiliki 900 juta pengguna aktif mingguan.
Harga token turun 10 kali per tahun, tapi semua orang yang dibicarakan adalah bagaimana memakai token lebih efisien, bukan bagaimana kita tidak memakainya.
Token yang dihabiskan oleh satu sesi agent adalah 50-200 untuk percakapan satu putaran. Jika harga turun, kita hanya akan menggunakannya lebih banyak.
Generative AI mencapai penetrasi global 53% dalam 3 tahun. Internet butuh 7 tahun, PC butuh 15 tahun.
Jadi, tentu saja kita masih di awal era AI, dan perubahannya tidak bisa dibalik. Seperti kondisi kita di era 2G dulu, nada sambung masih “Lagu Ponsel Romantis”, dan meski inbox penuh, kita tetap enggan menghapus beberapa SMS.
（Gambar dibuat oleh saya menggunakan Fable5 🎮）