torygreen

.@ionet menyalurkan ~416 miliar token melalui OpenRouter pada Oktober.
Mempertahankan ~13,4 miliar token per hari di seluruh jaringan GPU terdistribusi adalah titik ketika arsitektur mulai benar-benar diuji.
Perutean di berbagai perangkat keras, menjaga latensi tetap dapat diprediksi, dan membuat kegagalan tak terlihat oleh pengguna menjadi jauh lebih penting ketika lalu lintas terus-menerus sebesar ini.
Secara keseluruhan, bulan yang sangat kuat bagi ionet, dan gambaran sekilas yang bagus tentang seperti apa jaringan ini dalam skala yang jauh lebih besar.

Rak B300 yang sama: sekitar $600k di luar China, sekitar 2,8 juta dolar AS di dalamnya. Tak heran lab-lab China menyewa kapasitas di luar negeri.
Kini Nvidia memberi tahu penyedia cloud bahwa setidaknya 51% kapasitas baru harus dialokasikan kepada pelanggan non-China (via FT). Kesepakatan yang sudah ada tetap berlaku.
Yang saya khawatirkan adalah neocloud Asia yang seluruh kisah permintaannya bergantung pada lab-lab China. Seorang operator Singapura sudah mengatakan bahwa sulit menemukan pembeli non-China di luar AS. Jika mereka tak bisa mengisi kembali rak-rak itu, banyak GPU akan mencari pe

Model yang sama. Tugas yang sama. Token 88% lebih sedikit.
Peneliti membangun ulang loop di sekitar DeepSeek Harness dan jumlah token per tugas HumanEval turun dari 96 ribu menjadi 11,6 ribu. Model itu juga menyelesaikan lebih banyak tugas, meningkat dari 71% menjadi 86%.
Sebagian besar token yang dihabiskan agen berasal dari loop yang memikirkan ulang pekerjaan yang sudah dituntaskannya setiap kali pemanggilan tool. Pangkas itu dan biaya turun sekitar 8x tanpa mengubah bobot model.
Jika Anda memperkirakan permintaan inferensi berdasarkan jumlah token per tugas saat ini, sebagian besar angka i

6 Feb tampaknya adalah hari terakhir manusia mengonsumsi lebih banyak token daripada agen di @OpenRouter .
Penggunaan mingguan naik dari 0,5 triliun token pada Jan 2025 menjadi 128,4 triliun pada Sep 2026. ~250x dalam 20 bulan.
Menurut saya, statistik pertama itu jauh lebih penting daripada kebanyakan grafik pertumbuhan pengguna AI.
Manusia punya batas yang cukup ketat tentang seberapa banyak AI yang bisa mereka gunakan dalam sehari. Agen bisa berjalan semalaman, mencoba ulang berbagai hal, memanggil agen lain, dan terus menghabiskan komputasi dengan kecepatan yang luar biasa.
Begitu mesin men

AS menginvestasikan sekitar 23 kali lebih banyak modal swasta ke AI daripada China.
Sementara itu, 5 model yang paling banyak digunakan di OpenRouter berasal dari China dan memproses sekitar 74 triliun token.
Perbedaan ini cukup mencengangkan.
Laboratorium AS unggul dalam perlombaan modal, tetapi model-model China menyebar di bagian tumpukan teknologi yang disentuh pengembang setiap hari: inferensi, agen, alat pemrograman, dan beban kerja API berbiaya rendah.
Jika tren ini terus berlipat ganda, China tak perlu mengeluarkan lebih banyak uang daripada AS untuk memperoleh pengaruh. Model-modelnya

Hampir 90% token agen di @OpenRouter merupakan pembacaan cache.
Output + penalaran hanya sekitar 1%.
Dan kunci API untuk agen sudah menggunakan sekitar 7x lebih banyak token daripada kunci yang digunakan manusia.
Ini masuk akal jika melihat cara kerja agen sebenarnya. Setiap langkah membawa kembali prompt sistem, definisi alat, file, panggilan alat sebelumnya + status percakapan melalui model.
Agen yang berjalan lama pada dasarnya menjadi set kerja raksasa yang perlu tetap hangat.
Penyedia juga cepat beradaptasi. Tingkat cache median untuk lalu lintas agen naik dari 44% pada Januari menjadi 85

AI menyerap 64% pendanaan modal ventura global pada Q3.
$102B dari 159 miliar dolar AS.
Dan entah bagaimana, pada saat yang sama, pendanaan makin terkonsentrasi.
27 perusahaan menghimpun pendanaan senilai 1 miliar dolar AS atau lebih dan menyerap sekitar 1/3 dari seluruh pendanaan global. Putaran pendanaan senilai 100 juta dolar AS atau lebih mencakup hampir 90% pembiayaan tahap akhir.
AI terdepan mulai terlihat kurang seperti bisnis modal ventura perangkat lunak biasa dan lebih seperti industri berat dengan biaya awal yang sangat besar.
Komputasi, pusat data, pelatihan, talenta + distribusi s

AI mungkin pada akhirnya memaksa perusahaan berhenti beroperasi berdasarkan pengetahuan yang hanya tersimpan secara informal.
Agen tidak bisa mengatasi hal-hal yang entah bagaimana dilakukan manusia: keputusan yang terperangkap dalam rapat, prioritas yang tersimpan di kepala seseorang, pengecualian aneh yang diketahui semua orang tetapi tidak ditulis oleh siapa pun.
@AnthropicAI sudah mulai menghadapi hal ini. Mereka memiliki sekitar 6 jam-agen yang berjalan untuk setiap jam-karyawan manusia, tetapi agen-agen tersebut masih menghabiskan sebagian besar waktu interaktifnya untuk menunggu orang.

Satu unit kemampuan AI senilai 1 dolar AS hari ini turun menjadi sekitar 8 sen setahun kemudian jika tren saat ini bertahan.
Harga kemampuan tetap turun 47% setiap kuartal, berarti biayanya pada dasarnya menjadi setengah harga setiap sekitar 100 hari.
Perangkat keras di baliknya bergerak jauh lebih lambat.
Kinerja chip AI per dolar telah meningkat sekitar 49% per tahun sejak 2023. kemampuan model yang disesuaikan dengan kualitas menjadi sekitar 13 kali lebih murah.
Jadi, sebagian besar pemampatan terjadi di atas silikon: arsitektur yang lebih baik, pelatihan, kuantisasi, penyajian + persaingan

.@ionet mencapai sekitar 165 miliar token melalui @OpenRouter dalam 13 hari pertama Oktober.
Itu sudah sekitar 1,8x lipat dari total yang kita lakukan pada Juli.
Jika lajunya saat ini bertahan, total volume Oktober akan berada di sekitar 4x lipat dari Juli.
Sejujurnya, saya lebih peduli pada hal itu daripada jumlah GPU mentah.
Output berguna per GPU yang digunakan terus meningkat seiring model sparse menjadi lebih baik dan stack serving semakin efisien. Jadi jaringan dapat tumbuh dalam dua arah sekaligus: lebih banyak perangkat keras yang mulai aktif, serta lebih banyak pekerjaan yang dapat di

Pada 2032, perhitungan pembangunan AI saat ini membutuhkan sekitar 183 GW kapasitas yang menghasilkan sekitar 6,90 dolar AS per jam GPU tertagih pada tingkat utilisasi 80%.
Itu adalah infrastruktur dalam jumlah besar yang harus terus digunakan.
Kasus utama Van Nieuwerburgh mengasumsikan basis modal sekitar 9,6 triliun dolar AS, imbal hasil tanpa leverage 10%, margin arus kas operasional 50%, dan masa pakai peralatan TI enam tahun.
Dalam skenario tersebut, sistem membutuhkan pendapatan tahunan sebesar 3,725 triliun dolar AS, sekitar 9,2% dari PDB AS yang diproyeksikan.
Ubah asumsi-asumsinya, da

.@ionet memproses hampir sebanyak token melalui @OpenRouter pada minggu pertama Oktober seperti yang diprosesnya sepanjang Juli.
~92 miliar token pada Juli
~86 miliar pada 1–7 Okt
20,9 miliar pada 7 Okt saja
Mesin yang sama.
Yang paling saya sukai adalah bagaimana volumenya mulai terlihat.
Banyak volume terbaru mengalir melalui model sparse seperti MiMo, Gemma, dan Nemotron, yang hanya mengaktifkan sebagian kecil model untuk setiap token. Gabungkan itu dengan batching, caching, routing, dan infrastruktur serving yang lebih baik, maka ekonomi armada GPU yang sama terus berubah di bawah Anda.
Ba

Jev mungkin menjadi contoh sempurna tentang betapa cepatnya ide AI yang bagus menjadi komoditas sekarang.
Proyek ini diluncurkan pada 15 Sep. Dalam dua minggu, OpenAI, Databricks + Cloudflare sudah merilis teknologi primitif yang serupa. Clef-flash milik Cloudflare bahkan kompatibel dengan Jev dan mengklaim latensi median sekitar 13x lebih rendah.
Jadi, permintaan bukanlah masalahnya. Idenya memang mudah diserap begitu semua orang melihatnya berhasil.
Rasanya keunggulan kompetitif di sini harus berasal dari putaran umpan balik, data proprietari + distribusi.
Jev menemukan kategorinya. Yang lai

Harness Deepseek yang sama, instruksi singkat yang sama, dan:
Deepseek-v4-flash mendapat skor 0,52 di BIABench.
Claude Opus 5 mendapat 0,65.
Jadi, pengeluaran sekitar 50x lebih besar hanya menghasilkan tambahan skor 0,13 pada 16 tugas analisis citra biologis nyata.
Dan ekor terburuknya nyaris tidak berubah. Beberapa tugas 3D + deret waktu tetap di bawah 0,19 pada semua agen, sementara menjalankan ulang model yang sama dapat menghasilkan variasi yang lebih besar daripada sepenuhnya berganti model.
Saya mungkin akan menggunakan model murah untuk volume rutin, lalu mengeskalasi kasus yang tidak p

Google memiliki keunggulan yang cukup tidak adil dengan Argon dibandingkan laboratorium frontier lainnya
Mereka memiliki TPU yang mendukung Argon dan dapat langsung memasukkan model tersebut ke API yang sudah memproses sekitar 22 miliar token/menit.
Itu adalah arsitektur yang cukup mengesankan.
Bangun chipnya -> latih modelnya -> masukkan ke distribusi yang luar biasa luas -> salurkan kembali hasilnya ke proses berikutnya.
Dan Argon juga sudah meningkatkan stack di sekelilingnya, membebaskan lebih dari 300 TiB memori pusat data dengan memigrasikan lebih dari 800 ribu baris dari C/C++ ke Rust s

.@AnthropicAI S-1 cukup menarik karena bisnisnya bergerak hampir terlalu cepat untuk dokumen pengajuan itu sendiri. Pendapatan 2025 sekitar 4,6 miliar dolar AS. Q2 2026 saja mencapai sekitar 11,5 miliar dolar AS, dan pada akhir Juli ARR dilaporkan telah melampaui 65 miliar dolar AS. Kemudian ada sekitar 80 halaman faktor risiko dibandingkan 48 halaman tentang bisnis sebenarnya, pengungkapan bahwa sekitar 6% komputasi riset AI digunakan untuk pekerjaan keselamatan dalam satu minggu yang dijadikan sampel, serta pengakuan yang cukup blak-blakan bahwa perilisan model secara berkelanjutan dan tumpa

Adopsi AI hampir tidak tumbuh tahun ini. Belanja konsumen tetap meningkat dari ~$12B → 40 miliar dolar AS.
Itu merupakan sinyal yang jauh lebih menarik daripada pencapaian jumlah pengguna lainnya.
Adopsi di AS hanya bergerak dari 61% → 64%. Pengguna global tumbuh ~11%.
Pengguna yang sudah ada baru mulai menyerahkan jauh lebih banyak aspek kehidupan mereka kepada AI.
41% telah mencoba agen. 32% bahkan sudah mengizinkan AI bertindak tanpa persetujuan akhir. Dan 92% pengguna agen membayar AI.
Jadi, fase lanjutan AI konsumen mungkin tidak membutuhkan satu miliar orang lagi untuk menemukan chatbot.