Satu bulan menghabiskan 1,3 juta dolar! Bapak lobster mengungkapkan tagihan token, biaya ditanggung penuh oleh OpenAI

Ya, kamu tidak salah lihat!

Ayah lobster Peter Steinberger menghabiskan hingga lebih dari 1,3 juta dolar AS dalam sebulan untuk token API.

Seperti yang terlihat, total konsumsi token selama 30 hari adalah 603 miliar, permintaan 7,6 juta,

Netizen berteriak, “Menyewa tim pengembang mungkin lebih murah dari ini.”

Seorang netizen lain bertanya, “Bro, sebaiknya kamu tunjukkan kemampuan nyata, buat sesuatu yang engineer dengan gaji jutaan dolar pun tidak bisa selesaikan, kalau tidak, iklan ini mungkin jadi sinyal gelembung laboratorium terdepan yang mulai pecah. Apalagi ini harga sudah disubsidi. Astaga, kalau dihitung berdasarkan biaya nyata, pasti jauh lebih mahal.”

Steinberger membalas, “Saya matikan mode cepat, harganya langsung turun 70%, jadi kalau dihitung, itu setara biaya satu karyawan.”

Ada juga yang langsung mengejek, “Sejuta tiga ratus ribu dolar sebulan? Tapi kamu nggak ngasih apa-apa. Kamu benar-benar marketer terburuk dalam sejarah.”

Steinberger juga membalas, “Ngomong-ngomong, bro, definisi ‘nggak ngasih apa-apa’ kamu itu terlalu unik, ya.”

Steinberger juga menyatakan, “Semua kode ini ditulis dengan Codex. Pull request yang agak berantakan dan saya rapikan belakangan, kira-kira ditulis oleh Claude.”

Setelah mengungkapkan biaya token yang tinggi dan memicu perbincangan hangat, Steinberger segera merespons, dia mengatakan sedang mencoba menjawab pertanyaan ini:

“Kalau Token tidak lagi penting, bagaimana kita akan membangun perangkat lunak di masa depan?”

Kami menjalankan sekitar 100 Codex di cloud secara permanen, meninjau setiap PR, setiap issue. Selama cabang utama menerima perbaikan, @clawsweeper akhirnya akan menemukan issue lama yang sudah mati selama 6 bulan dan menutupnya dengan kutipan yang tepat.

Kami menjalankan Codex di setiap commit, meninjau masalah keamanan karena masalah ini sangat mudah terlewatkan.

Kami menggunakan Codex untuk menghilangkan duplikasi issue, menemukan klaster, dan mengirim laporan untuk masalah yang paling mendesak.

Kami memiliki beberapa Agent yang dapat mereplikasi lingkungan kompleks, memulai mesin crabbox.sh sementara, login ke platform seperti Telegram, merekam video, dan memposting perbandingan sebelum dan sesudah perbaikan di PR.

Ada juga Codex yang memantau issue baru, jika sesuai dengan visi produk yang sudah kami tetapkan, otomatis akan membuat PR untuk issue tersebut. Kemudian, Codex lain akan meninjau PR ini.

Kami juga menjalankan Codex untuk memindai komentar spam dan memblokir pengguna terkait.

Kami menjalankan instance Codex untuk menguji standar performa dan melaporkan regresi ke Discord.

Kami memiliki Agent yang memantau rapat kami dan secara aktif mulai bekerja. Misalnya, saat kami membahas fitur baru, mereka langsung membuat PR selama diskusi berlangsung.

Kami membangun clatch.ai, memecah semua proyek menjadi unit fungsi, untuk meninjau, menemukan bug, dan masalah regresi.

Dalam hal keamanan, kami juga melakukan pemecahan yang sama, menggabungkan Vercel deepsec dan Codex Security untuk menemukan regresi dan kerentanan.

Semua otomatisasi ini memungkinkan kami menjalankan proyek ini dengan tim yang sangat ramping.

Pertanyaannya, siapa yang menanggung biaya sebesar ini? Jelas bukan dia sendiri.

“OpenAI tidak akan mengenakan biaya token kepada saya.”

Tokenmaxxing: Seberapa lama kompetisi throughput ini bisa bertahan

Ini langsung mematikan kompetisi.

Baru-baru ini, perbincangan hangat di komunitas AI tentang Tokenmaxxing, berbagai perusahaan besar, termasuk Meta dan Amazon, bahkan mengungkapkan peringkat penggunaan token internal perusahaan, menjadikan penggunaan alat AI dan konsumsi token sebagai KPI harian karyawan.

Saat itu, pengguna individu peringkat pertama di Meta menghabiskan rata-rata 2,81 triliun token, berdasarkan harga model yang berbeda, bisa jadi menghabiskan jutaan dolar. Sementara ayah lobster Peter Steinberger dalam sebulan menghabiskan 6,03 triliun token, benar-benar seperti serangan dimensi yang lebih rendah.

Eks ilmuwan Tesla dan OpenAI Karpathy mengakui di podcast bahwa mereka juga merasakan tekanan maksimalisasi penggunaan AI, “Kuncinya di token. Berapa banyak token yang kamu konsumsi? Seberapa banyak kamu bisa menggerakkan throughput token?”

Token perlahan menjadi bahan produksi baru, bahkan menjadi satuan pengukur kepadatan operasi AI. Sebuah tim, selama memiliki throughput token yang cukup tinggi, metode pembagian tugas yang lengkap, dan loop verifikasi yang andal, bisa mencapai tingkat engineering yang dulu hanya bisa dilakukan oleh tim besar.

Baru saja, Presiden OpenAI Greg Brockman mengirim tweet, “Token sedang dengan cepat menjadi input umum untuk memecahkan masalah.”

Tapi kami percaya bahwa Token bukanlah tentang kuantitas, seperti ayah lobster membangun alur pengembangan otomatisasi agen cerdas, sebuah model manajemen proyek yang baik mungkin adalah kunci kemenangan.

Sumber artikel: Machine Heart

Peringatan risiko dan ketentuan penafian

        Pasar berisiko, investasi harus hati-hati. Artikel ini tidak memberikan saran investasi pribadi, dan tidak mempertimbangkan tujuan investasi, kondisi keuangan, atau kebutuhan pengguna secara khusus. Pengguna harus menilai apakah pendapat, pandangan, atau kesimpulan dalam artikel ini sesuai dengan kondisi mereka. Investasi berdasarkan hal ini adalah tanggung jawab sendiri.