Masalah inferensi konsumen:

Saya melihat banyak proyek inferensi yang berorientasi pada konsumen berusaha mengatasi biaya tinggi API frontier
Metode bervariasi, tetapi premisnya adalah menyediakan inferensi yang lebih murah dibandingkan agregator seperti OpenRouter
Tantangannya di sini adalah masalah waktu
Hari ini, konsumen mendapatkan AI frontier yang sangat disubsidi
Banyak opsi bagi konsumen untuk mendapatkan rencana inferensi SOTA mulai dari $10 dan rencana $200/bulan menawarkan penggunaan yang luar biasa
Hanya saja, permintaan konsumen untuk inferensi API bayar sesuai penggunaan tidak sebanyak itu mengingat keberadaan sub rencana ini
*perusahaan adalah cerita yang berbeda
Jadi asumsi utama untuk proyek berorientasi konsumen ini adalah bahwa subsidi akan hilang pada suatu titik
Banyak yang mengharapkan rencana sub menjadi lebih mahal atau laboratorium mengurangi batasan, akhirnya memaksa sebagian besar orang ke penagihan API
Tipu muslihat klasik
Tapi kapan perubahan ini terjadi adalah hal yang sama sekali tidak diketahui
Oleh karena itu, jika Anda seorang pembangun, Anda mungkin benar tentang premisnya tetapi terlalu awal tentang waktunya
Proyek terbaik yang bekerja di ruang ini perlu menemukan pmf dalam kasus penggunaan di luar inferensi API konsumen volume tinggi sambil membangun kapasitas untuk menjadi penyedia biaya rendah jika/ketika tipu muslihat ini terjadi
Bukan hal yang mudah untuk dijalankan