torygreen

Швидкість інференсу починає мати для агентів значно більше значення, ніж просто швидше робити відповіді.
Новий CS-4 від Cerebras заявляє до 30-кратного пришвидшення інференсу порівняно з GPU-системами — понад 4,400 токенів/с на GPT-OSS-120B.
Для агентів ця швидкість перетворюється на додатковий бюджет для міркувань.
За те саме 30-секундне вікно швидша система може дослідити більше шляхів, повторити невдалі спроби, виконати більше перевірок або використати більшу модель, не змушуючи користувача чекати довше.
Тож токенів/с поступово стає чимось більшим, ніж показник затримки.
Це може безпосередн

Кодування, можливо, було лише першим агентним ринком, а не найбільшим.
Від лютого кількість щотижневих активних користувачів Codex зросла :
> у 108 разів у юридичній сфері,
> у 41 раз у продажах,
> у 41 раз у рекрутингу
> у 26 разів у маркетингу.
У інженерії зростання склало лише 5 разів.
А до червня агентне використання вже становило 64% від сукупної кількості вихідних токенів Codex + ChatGPT серед корпоративних клієнтів.
Програмне забезпечення, ймовірно, було найпростішим місцем для початку, оскільки робота є структурованою, потребує активного використання інструментів і її відносно легк

Мережеві технології для ШІ починають скидатися на окремий мініцикл капітальних витрат.
@Cisco завершила FY2026 із замовленнями на інфраструктуру ШІ від гіперскейлерів на $9.3B і прогнозує, що дохід від інфраструктури ШІ зросте з ~$4B до $7.5B наступного року. Arista щойно продемонструвала зростання на 37.7% у річному обчисленні — до $3.04B
Мені здається, цікава зміна полягає в тому, куди тепер починає спрямовуватися кожен додатковий долар, витрачений на ШІ.
На першому етапі розгортання головним було якнайшвидше підключити до роботи якомога більше прискорювачів. Коли кластери стають достатньо

Дико, що зростаючий дефіцит пам’яті вже починає змінювати ландшафт GPU ще до їхнього постачання.
@nvidia тепер тестує варіанти HBM із меншою кількістю шарів для Rubin Ultra. Початковий дизайн 12-Hi HBM4e міг досягати 14–16 Gbps, тоді як новий оптимізований маршрут HBM4 може вийти на 11–12.
Привабливість полягає в обсягах. Менша кількість шарів DRAM на прискорювач дає змогу розподілити постачання тієї самої кількості пластин між більшою кількістю GPU.
Але модель не стає меншою лише через те, що стек пам’яті став меншим. Щойно їй доводиться розподіляти навантаження між більшою кількістю прискорю

Отже, ми вже перетнули ~$1T у глобальних витратах на capex у центрах обробки даних, прямуючи до $1.7T до 2030 року. Зростання з $455B у 2024 році.
Це майже 4x за шість років. Чотири американські гіперскейлери приблизно подвоюються за цей відрізок. Усе інше — неоклауди, AI-лабораторії, суверенні проєкти — це те, що насправді викривляє криву, зростаючи в середньому приблизно на 39% на рік. До 2030 року Amazon, Google, Meta і Microsoft становлять лише приблизно половину цього.
Два роки тому розгортання було по суті чотирма компаніями. Тепер це ціле поле таких компаній, і нові гроші рухаються до