Perusahaan Amerika beralih ke model AI China, Coinbase memimpin penggunaan GLM dan Kimi.

Perusahaan teknologi AS diam-diam mengintegrasikan model AI open-source China ke dalam infrastruktur produksi mereka. Dengan biaya layanan model AI terkemuka AS yang terus meningkat, perusahaan seperti Coinbase mulai menggunakan model open-source China sebagai opsi default, sehingga dapat menekan pengeluaran AI secara signifikan tanpa menekan volume penggunaan.

CEO Coinbase, Brian Armstrong, mengungkapkan dalam sebuah posting di platform X pada Jumat malam lalu bahwa perusahaan telah menetapkan GLM 5.2 yang baru dirilis oleh Zhipu dan Kimi 2.7 dari Beijing Moon's Dark Side sebagai model default bagi para insinyur melalui gateway LLM internal. Armstrong mengatakan bahwa setelah menggabungkan pengoptimalan rute dan peningkatan cache, pengeluaran AI Coinbase telah dipotong "hampir setengah", sementara penggunaan token masih tumbuh secara eksponensial.

Keunggulan biaya model open-source China diangkat ke permukaan

Dalam postingannya, Armstrong dengan jelas menyatakan bahwa 91% insinyur tidak pernah mencapai batas penggunaan yang ada, sehingga Coinbase tidak memilih untuk menurunkan batas atau menambahkan peringatan konsumsi, melainkan beralih ke "model default yang lebih murah".

GLM 5.2 berasal dari Zhipu, Kimi 2.7 berasal dari Beijing Moon's Dark Side, keduanya merupakan model bobot terbuka. Armstrong mengatakan bahwa model-model ini digunakan dalam skenario tugas rutin, sementara untuk tugas yang memerlukan perencanaan kompleks, insinyur masih dapat memilih model mutakhir. Logikanya adalah: menggunakan model tingkat atas pada tingkat eksekusi seringkali merupakan "pemborosan sumber daya".

Untuk proses peninjauan kode, digunakan strategi multi-model paralel, di mana berbagai model saling memverifikasi hasil keluaran untuk mempertahankan standar kualitas.

Restrukturisasi infrastruktur tiga lapis mendorong pengurangan biaya

Armstrong menyebutkan tiga langkah inti.

Pertama adalah perutean cerdas: Dalam kerangka penjadwalan khusus, sistem melakukan pra-pemrosesan pada prompt, menggabungkan tingkat cache hit dan penetapan harga model, dan secara otomatis mendistribusikan tugas ke model yang paling sesuai dan ekonomis. Ia mengatakan bahwa tujuan akhirnya adalah agar AI, bukan manusia, yang menyelesaikan tugas pemilihan model.

Kedua adalah cache proaktif: Coinbase mewajibkan semua permintaan memiliki kemampuan sadar cache, dan sebisa mungkin menggunakan kembali cache yang ada. Contohnya dengan LibreChat, setelah menerapkan mekanisme cache dengan benar, tingkat cache hit melonjak dari 5% menjadi 60%.

Ketiga adalah penyederhanaan konteks: Armstrong menyarankan untuk memulai sesi baru saat beralih tugas, mempersempit lingkup konteks file, dan memutuskan koneksi alat yang tidak digunakan. Ia menekankan bahwa tujuannya bukan untuk mengurangi total penggunaan token, melainkan untuk mengurangi "token yang terbuang".

Prioritas efisiensi, bukan penekanan penggunaan

Armstrong mengkategorikan pengurangan biaya ini sebagai prasyarat untuk memperluas skala adopsi AI, bukan sebagai pembatasan. Ia mengatakan bahwa para insinyur masih bebas menggunakan token dalam jumlah berapa pun dan model apa pun, tetapi perusahaan telah memvisualisasikan data penggunaan dan menghubungkan penggunaan dengan dampak bisnis — "semakin banyak Anda membelanjakan, semakin besar dampak yang kami harapkan".

Ia tidak mengungkapkan angka pengeluaran absolut yang spesifik. Namun secara struktural, mencapai pengurangan pengeluaran hampir setengah sementara penggunaan tumbuh secara eksponensial berarti Coinbase telah sampai batas tertentu memisahkan konsumsi dari biaya.

Kesimpulan Armstrong adalah bahwa metodologi ini bersifat universal dan dapat diadopsi oleh perusahaan mana pun, sehingga dapat mencapai ekspansi berkelanjutan skala penggunaan AI tanpa menjadikan biaya sebagai batas atas.