Perusahaan teknologi AS secara diam-diam beralih ke model AI China, Coinbase memimpin dengan menggunakan GLM dan Kimi.

Perusahaan teknologi AS diam-diam mengintegrasikan model AI open-source Tiongkok ke dalam infrastruktur produksi mereka. Seiring dengan terus meningkatnya biaya layanan model AS terkemuka, perusahaan seperti Coinbase mulai menggunakan model open-source Tiongkok sebagai opsi default, sehingga dapat secara drastis mengurangi pengeluaran AI tanpa menekan penggunaan.

CEO Coinbase, Brian Armstrong, mengungkapkan di platform X pada Jumat malam lalu bahwa perusahaannya telah menetapkan GLM 5.2 yang baru dirilis oleh Zhipu AI dan Kimi 2.7 dari Beijing Moonshot AI sebagai model default bagi para insinyur melalui gateway LLM internal. Armstrong menyatakan bahwa setelah menggabungkan optimasi perutean dan peningkatan caching, pengeluaran AI Coinbase telah berkurang "hampir setengahnya", sementara penggunaan token masih tumbuh secara eksponensial.

Keunggulan Biaya Model Open-Source Tiongkok Diangkat ke Permukaan

Armstrong dengan jelas menyatakan dalam postingannya bahwa 91% insinyur tidak pernah menyentuh batas penggunaan yang ada, sehingga Coinbase tidak memilih untuk menurunkan batas atau menambahkan pengingat konsumsi, melainkan beralih ke "model default yang lebih murah".

GLM 5.2 berasal dari Zhipu AI, dan Kimi 2.7 dari Beijing Moonshot AI, keduanya merupakan model bobot terbuka. Armstrong mengatakan bahwa model-model ini digunakan dalam skenario tugas rutin, sementara untuk tugas yang memerlukan perencanaan kompleks, para insinyur masih dapat memilih model mutakhir. Logikanya adalah: menggunakan model terbaik untuk tugas eksekusi seringkali tidak efisien.

Untuk tinjauan kode, mereka mengadopsi strategi multi-model paralel, di mana model yang berbeda saling memeriksa hasil output untuk mempertahankan standar kualitas.

Restrukturisasi Infrastruktur Tiga Lapis Mendorong Pengurangan Biaya

Armstrong menjabarkan tiga langkah inti.

Pertama, perutean cerdas: dalam kerangka penjadwalan khusus, sistem melakukan pra-pemrosesan pada prompt, menggabungkan tingkat cache hit dan harga model, untuk secara otomatis mendistribusikan tugas ke model yang paling sesuai dan paling ekonomis. Ia mengatakan tujuan akhirnya adalah membiarkan AI, bukan manusia, yang melakukan pemilihan model.

Kedua, caching proaktif: Coinbase mewajibkan semua permintaan untuk memiliki kesadaran cache, berusaha semaksimal mungkin untuk menggunakan kembali cache yang ada. Misalnya, dengan LibreChat, setelah menerapkan mekanisme cache dengan benar, tingkat cache hit melonjak dari 5% menjadi 60%.

Ketiga, penyederhanaan konteks: Armstrong menyarankan untuk memulai sesi baru saat beralih tugas, mempersempit cakupan konteks file, dan memutuskan koneksi alat yang tidak digunakan. Ia menekankan bahwa tujuannya bukan mengurangi total penggunaan token, tetapi mengurangi "token yang terbuang".

Utamakan Efisiensi, Bukan Menekan Penggunaan

Armstrong mengkategorikan pengurangan biaya ini sebagai prasyarat untuk memperluas skala adopsi AI, bukan sebagai pembatasan. Ia mengatakan para insinyur masih bebas menggunakan token dalam jumlah berapa pun dan model apa pun, tetapi perusahaan telah memvisualisasikan data penggunaan dan menghubungkan penggunaan dengan dampak bisnis — "semakin banyak yang dikeluarkan, semakin besar dampak yang kami harapkan".

Ia tidak mengungkapkan angka pengeluaran absolut yang spesifik. Namun dari strukturnya, mencapai pengurangan hampir setengah pengeluaran sementara penggunaan tumbuh secara eksponensial berarti Coinbase telah sampai batas tertentu memisahkan konsumsi dan biaya.

Kesimpulan Armstrong adalah bahwa metodologi ini bersifat universal, dan perusahaan mana pun dapat mengadopsinya untuk mencapai ekspansi berkelanjutan dalam skala penggunaan AI tanpa menjadikan biaya sebagai batasan.

Peringatan Risiko dan Klausul Penyangkalan

        Pasar memiliki risiko, investasi harus hati-hati. Artikel ini tidak merupakan saran investasi pribadi, dan juga tidak mempertimbangkan tujuan investasi, kondisi keuangan, atau kebutuhan khusus pengguna individu. Pengguna harus mempertimbangkan apakah pendapat, opini, atau kesimpulan dalam artikel ini sesuai dengan situasi spesifik mereka. Investasi berdasarkan ini, risiko ditanggung sendiri.