torygreen

Kecepatan inferensi mulai menjadi penting bagi agen dengan cara yang jauh lebih besar daripada sekadar membuat respons terasa lebih cepat.
CS-4 baru dari Cerebras mengklaim inferensi hingga 30x lebih cepat dibandingkan sistem GPU, dengan kecepatan lebih dari 4.400 token/detik pada GPT-OSS-120B.
Bagi agen, kecepatan itu menjadi anggaran penalaran tambahan.
Dalam jendela waktu 30 detik yang sama, sistem yang lebih cepat dapat menjelajahi lebih banyak jalur, mencoba kembali kegagalan, menjalankan lebih banyak verifikasi, atau menggunakan model yang lebih besar tanpa membuat pengguna menunggu lebi

Pemrograman mungkin baru menjadi pasar agen yang pertama, bukan yang terbesar.
Sejak Februari, jumlah pengguna Codex aktif mingguan tumbuh :
> 108x di bidang hukum,
> 41x di bidang penjualan,
> 41x di bidang rekrutmen
> 26x di bidang pemasaran.
Bidang engineering hanya tumbuh 5x.
Dan pada Juni, penggunaan agen sudah mencakup 64% dari total token output gabungan Codex + ChatGPT di antara pelanggan perusahaan.
Perangkat lunak mungkin menjadi tempat termudah untuk memulai karena pekerjaannya terstruktur, banyak menggunakan alat, dan relatif mudah diverifikasi.
Kini, ketika agen semakin baik dalam

Jaringan AI mulai terlihat seperti siklus belanja modal mini tersendiri.
@Cisco menutup FY2026 dengan pesanan infrastruktur AI dari hyperscaler senilai 9,3 miliar dolar AS dan memproyeksikan pendapatan infrastruktur AI dari ~$4B menjadi 7,5 miliar dolar AS tahun depan. Arista baru saja tumbuh 37,7% secara tahunan menjadi 3,04 miliar dolar AS
Menurut saya, pergeseran yang menarik adalah ke mana dana AI marginal mulai mengalir.
Fase pertama pembangunan didominasi oleh upaya membuat sebanyak mungkin akselerator aktif. Setelah klaster menjadi cukup besar, memastikan GPU tersebut terus menerima d

Gila, kelangkaan memori yang terus meningkat kini mulai merancang ulang lanskap GPU bahkan sebelum GPU tersebut diluncurkan.
@nvidia kini menguji opsi HBM dengan tumpukan lebih rendah untuk Rubin Ultra. Desain HBM4e 12-Hi awalnya dapat mencapai 14–16 Gbps, sementara jalur HBM4 yang dioptimalkan mungkin mencapai 11–12 Gbps.
Daya tariknya adalah volume. Lebih sedikit lapisan DRAM per akselerator memungkinkan pasokan wafer yang sama digunakan untuk lebih banyak GPU.
Namun, modelnya tidak menjadi lebih kecil hanya karena tumpukan memorinya berkurang. Setelah model harus tersebar di lebih banyak ak

Jadi sekarang kita telah melewati ~$1T dalam belanja modal pusat data global, mengarah ke $1,7T pada 2030. Dari $455B pada 2024.
Itu hampir 4x dalam enam tahun. Empat hyperscaler AS kira-kira berlipat dua selama rentang itu. Yang benar-benar membuat kurva melengkung adalah semua yang lain—neocloud, lab AI, proyek berdaulat—tumbuh sekitar 39% per tahun rata-rata. Pada 2030, Amazon, Google, Meta, dan Microsoft hanya sekitar setengah dari total itu.
Dua tahun lalu, pembangunan pada dasarnya hanya melibatkan empat perusahaan. Sekarang itu sudah jadi sebuah bidang yang penuh, dan uang baru me