Wu Shuo melaporkan bahwa, CEO Coinbase Brian Armstrong menyatakan dalam postingannya, perusahaan telah mengurangi pengeluaran AI perusahaan hampir setengahnya dengan mengoptimalkan infrastruktur, sementara penggunaan token AI masih tumbuh secara eksponensial. Langkah-langkah inti pengurangan biaya meliputi: menjadikan model open-source seperti GLM 5.2 dan Kimi 2.7 sebagai opsi default untuk gateway LLM internal, melalui perutean cerdas untuk mencocokkan tugas dengan model yang paling hemat biaya meningkatkan cache hit rate alat seperti LibreChat dari 5% menjadi 60%. Armstrong menekankan bahwa tujuan mengelola biaya AI bukanlah membatasi penggunaan, melainkan membuat pertumbuhan eksponensial menjadi berkelanjutan dengan mengurangi pemborosan.

Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 7
  • 2
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
MechanicalHummingbird
· 9jam yang lalu
GLM 5.2 sebagai default, gelombang model buatan dalam negeri yang ke luar negeri ini sudah terverifikasi, kan?
Lihat AsliBalas0
ElevatorMeme
· 16jam yang lalu
Pertumbuhan eksponensial + biaya setengah potong, tim infrastruktur AI Coinbase ini bisa keluar untuk menjual kursus.
Lihat AsliBalas0
GateUser-2bbf8435
· 16jam yang lalu
Brian ini pemikirannya unik, bukan memotong anggaran tetapi memotong pemborosan, penggunaan AI berlipat ganda biaya malah turun, inilah yang benar-benar mengurangi biaya dan meningkatkan efisiensi.
Lihat AsliBalas0
GateUser-ffe7bee5
· 16jam yang lalu
Dari 5% menjadi 60%, optimasi cache ini sepertinya sudah memahami rekayasa prompt dengan baik.
Lihat AsliBalas0
GateUser-870b5e71
· 16jam yang lalu
Apakah ada solusi open source untuk bagian cache LibreChat? Ingin menyalin pekerjaan.
Lihat AsliBalas0
FragmentedSilverStarMap
· 16jam yang lalu
Tingkat hit cache 60% naik dari 5%, besarnya optimasi ini membuat saya iri, kami di internal masih berjuang di 20%.
Lihat AsliBalas0
SunshineCollector
· 16jam yang lalu
Model open source + rute cerdas memang kejam, GLM dan Kimi langsung menjadi default, uang yang dihemat bisa digunakan untuk beberapa putaran pelatihan lagi.
Lihat AsliBalas0