Model open source + routing cerdas ini benar-benar kejam, bisa memotong biaya AI hingga setengah dan meningkatkan penggunaan secara eksponensial, operasi Brian Armstrong ini layak ditiru.

Wu Shuo melaporkan bahwa, CEO Coinbase Brian Armstrong menyatakan dalam postingannya, perusahaan telah mengurangi pengeluaran AI perusahaan hampir setengahnya dengan mengoptimalkan infrastruktur, sementara penggunaan token AI masih tumbuh secara eksponensial. Langkah-langkah inti pengurangan biaya meliputi: menjadikan model open-source seperti GLM 5.2 dan Kimi 2.7 sebagai opsi default untuk gateway LLM internal, melalui perutean cerdas untuk mencocokkan tugas dengan model yang paling hemat biaya meningkatkan cache hit rate alat seperti LibreChat dari 5% menjadi 60%. Armstrong menekankan bahwa tujuan mengelola biaya AI bukanlah membatasi penggunaan, melainkan membuat pertumbuhan eksponensial menjadi berkelanjutan dengan mengurangi pemborosan.