Coinbase telah memotong pengeluaran AI hampir setengah, mencoba menjadikan model bobot terbuka seperti GLM 5.2 dan Kimi 2.7 sebagai opsi default.

Berita BlockBeats, 27 Juni, CEO Coinbase Brian Armstrong menulis bahwa jika ingin menjaga pengeluaran AI tetap stabil sementara penggunaan token tumbuh secara eksponensial, kuncinya bukanlah pada pengaturan gesekan penggunaan atau pengingat pengeluaran, melainkan pada model default, routing, dan mekanisme cache yang lebih baik.

Coinbase sedang mencoba menggunakan model bobot terbuka seperti GLM 5.2, Kimi 2.7 secara default melalui gateway LLM, sambil tetap mendorong para insinyur untuk memilih model yang sesuai berdasarkan tugas. Ia mengatakan, 91% karyawan tidak pernah mencapai batas penggunaan, sehingga perusahaan tidak memilih untuk menurunkan batas dan menambah pengingat, melainkan beralih ke model default yang lebih murah.

Dalam hal routing model, Coinbase akan memproses prompt di alur kerja khusus, dan merutekan tugas ke model yang paling sesuai berdasarkan rasio hit cache dan harga model. Misalnya, tahap perencanaan mungkin memerlukan model mutakhir, tetapi menggunakan model mutakhir pada tahap eksekusi mungkin berlebihan. Ia berpendapat, di masa depan manusia tidak perlu memilih model, AI dapat melakukannya secara otomatis.

Armstrong juga mengatakan, cache miss adalah cara termudah untuk menaikkan biaya. Permintaan Coinbase semuanya memiliki kemampuan cache-aware, untuk memanfaatkan hot cache sebanyak mungkin. Misalnya, setelah menerapkan cache dengan benar, rasio hit cache LibreChat telah meningkat dari 5% menjadi 60%. Selain itu, Coinbase juga meminta para insinyur untuk menjaga konteks tetap ringkas, termasuk memulai sesi baru saat beralih tugas, mempersempit cakupan konteks file, memutuskan alat yang tidak digunakan, dll. Tujuannya bukan untuk menekan penggunaan AI, melainkan membangun infrastruktur yang dapat mendukung pertumbuhan eksponensial. Melalui praktik-praktik di atas, Coinbase telah memotong pengeluaran AI hampir setengahnya, sementara penggunaan token terus bertambah.