torygreen

.@ionet провёл через OpenRouter около 416 млрд токенов в октябре.
Поддержание потока около 13,4 млрд токенов в день через распределённую сеть GPU — это серьёзное испытание архитектуры.
Маршрутизация запросов между разнородным оборудованием, предсказуемая задержка и незаметная для пользователя обработка сбоев становятся гораздо важнее при таком постоянном трафике.
В целом, очень сильный месяц для ionet и хорошее представление о том, как может выглядеть сеть в гораздо большем масштабе.

Та же стойка B300: около $600k за пределами Китая, около 2,8 миллиона долларов внутри него. Неудивительно, что китайские лаборатории просто арендуют мощности за рубежом.
Теперь Nvidia сообщает облачным провайдерам, что не менее 51% новых мощностей должны достаться клиентам не из Китая (по данным FT). Прежние сделки остаются в силе.
Я бы беспокоился об азиатских неооблаках, чей спрос целиком зависит от китайских лабораторий. Один сингапурский оператор уже говорит, что за пределами США трудно найти покупателей не из Китая. Если они не смогут снова заполнить эти стойки, одновременно появится мно

Та же модель. Те же задачи. На 88% меньше токенов.
Исследователи перестроили цикл вокруг DeepSeek Harness, и число токенов на задачу HumanEval упало с 96 тыс. до 11,6 тыс. При этом модель решила больше задач: показатель вырос с 71% до 86%.
Многие токены агенты тратят на то, чтобы после каждого вызова инструмента заново обдумывать уже решённые задачи. Устраните это — и затраты снизятся примерно в 8 раз, без изменения весов модели.
Если вы прогнозируете спрос на инференс, опираясь на сегодняшнее число токенов на задачу, значительная часть этого показателя объясняется лишь неэффективностью обвязк

6 февраля, по-видимому, стало последним днём, когда люди потребляли больше токенов, чем агенты на @OpenRouter .
Еженедельное потребление выросло с 0,5 триллиона токенов в январе 2025 года до 128,4 триллиона к сентябрю 2026 года. Примерно в 250 раз за 20 месяцев.
Думаю, этот первый показатель куда важнее большинства графиков роста числа пользователей ИИ.
У людей есть довольно жёсткий предел того, сколько ИИ они могут использовать за день. Агенты могут работать всю ночь, повторять попытки, вызывать других агентов и сжигать вычислительные ресурсы с безумной скоростью.
Когда машины станут основным

США вложили в ИИ примерно в 23 раза больше частного капитала, чем Китай.
Тем временем 5 самых популярных моделей на OpenRouter были китайскими и обработали около 74 триллионов токенов.
Разрыв довольно впечатляющий.
Лаборатории США лидируют в гонке за капитал, но китайские модели распространяются в тех частях стека, с которыми разработчики взаимодействуют каждый день: инференс, агенты, инструменты для программирования и дешёвые API-нагрузки.
Если эта тенденция продолжит набирать силу, Китаю не нужно тратить больше США, чтобы получить влияние. Достаточно, чтобы его модели лежали в основе достато

Почти 90% токенов агентов на @OpenRouter — это чтения из кэша.
На вывод и рассуждения приходится всего около 1%.
А API-ключи агентов уже расходуют почти в 7 раз больше токенов, чем ключи, используемые людьми.
Это логично, если посмотреть, как на самом деле работают агенты. На каждом шаге системный промпт, описания инструментов, файлы, предыдущие вызовы инструментов и состояние диалога снова проходят через модель.
Долго работающий агент по сути превращается в огромный рабочий набор данных, который нужно держать прогретым.
Провайдеры тоже быстро адаптируются. Медианная доля кэширования трафика а

ИИ получил 64% мирового венчурного финансирования в третьем квартале.
$102B из 159 миллиардов долларов.
И каким-то образом деньги одновременно концентрируются всё сильнее.
27 компаний привлекли финансирование в раундах на сумму 1 миллиард долларов и более и получили примерно треть всего мирового финансирования. Раунды на сумму 100 миллионов долларов и более составили почти 90% финансирования на поздних стадиях.
Передовой ИИ всё больше напоминает не обычный венчурный рынок ПО, а тяжёлую промышленность с абсурдно высокими первоначальными затратами.
Вычислительные мощности, дата-центры, обучение

ИИ может в итоге вынудить компании отказаться от работы на основе неписаных знаний.
Агенты не могут обойти то, что каким-то образом делают люди: решения, застрявшие на совещаниях, приоритеты, хранящиеся в чьей-то голове, странные исключения, о которых все знают, но которые никто не записал.
@AnthropicAI уже сталкивается с этим. У них приходится примерно по 6 агент-часов на каждый человеко-час сотрудника, однако эти агенты по-прежнему проводят большую часть своего интерактивного времени в ожидании людей.
Сотрудники создают постоянно действующие инструкции, мониторы, агентов-рецензентов и даже а

Единица возможностей ИИ стоимостью 1 доллар сегодня через год будет стоить примерно 8 центов, если текущая динамика сохранится.
Снижение цены на 47% каждый квартал означает, что фиксированный уровень возможностей фактически дешевеет вдвое примерно каждые 100 дней.
Лежащее в основе оборудование развивается далеко не такими темпами.
Производительность ИИ-чипов на доллар с 2023 года повышалась примерно на 49% в год. Возможности моделей с поправкой на качество становятся примерно в 13 раз дешевле.
Таким образом, большая часть удешевления происходит выше уровня кремния: более совершенные архитектур

.@ionet обработал около 165 миллиардов токенов через @OpenRouter за первые 13 дней октября.
Это уже примерно в 1,8 раза больше всего объёма, который мы сделали в июле.
Если текущий темп сохранится, общий объём октября составит около 4 объёмов июля.
Честно говоря, для меня это важнее, чем просто количество GPU.
Полезный объём работы на каждый задействованный GPU продолжает расти по мере улучшения разреженных моделей и оптимизации стека обслуживания. Поэтому сеть может расти сразу в двух направлениях: вводится больше оборудования, а из уже имеющихся ресурсов выжимается больше работы.
Количество

К 2032 году текущие расчёты по развитию ИИ предполагают примерно 183 ГВт мощностей, приносящих около 6,90 доллара за оплачиваемый GPU-час при загрузке 80%.
Это огромный объём инфраструктуры, который должен постоянно оставаться загруженным.
Базовый сценарий Ван Нёвенбурга предполагает капитальную базу примерно в 9,6 триллиона долларов, 10% доходности без учёта заёмных средств, 50% маржу операционного денежного потока и шестилетний срок службы IT-оборудования.
При таких условиях системе необходима годовая выручка в размере 3,725 триллиона долларов — около 9,2% прогнозируемого ВВП США.
Если измен

.@ionet через @OpenRouter было обработано почти столько же токенов за первую неделю октября, сколько за весь июль.
~92 миллиарда токенов в июле
~86 миллиардов с 1 по 7 октября
20,9 миллиарда только 7 октября
Те же машины.
Больше всего мне нравится, как проявляется объём.
Большая часть недавнего объёма проходит через разреженные модели, такие как MiMo, Gemma и Nemotron, в которых для каждого токена активируется лишь небольшая доля модели. В сочетании с улучшенными пакетной обработкой, кэшированием, маршрутизацией и инфраструктурой обслуживания экономика того же парка GPU продолжает меняться пря

Jev, возможно, — идеальный пример того, как быстро хорошая идея в сфере ИИ превращается в товар широкого потребления.
Он запустился 15 сентября. В течение двух недель OpenAI, Databricks и Cloudflare уже выпускали решения на основе того же примитива. Clef-flash от Cloudflare даже совместим с Jev и заявляет о примерно в 13 раз меньшей медианной задержке.
Так что спрос не был проблемой. Идею просто было легко перенять, как только все увидели, что она работает.
Похоже, здесь преимущество должно строиться на цикле обратной связи, собственных данных и дистрибуции.
Jev открыл новую категорию. Все ост

Тот же Deepseek harness, та же короткая инструкция:
Deepseek-v4-flash набирает 0,52 балла в BIABench.
Claude Opus 5 получает 0,65.
То есть расходы примерно в 50 раз выше дают прирост всего на 0,13 балла по 16 реальным задачам биоанализa изображений.
А неприятный нижний хвост почти не меняется. Некоторые задачи с 3D и временными рядами остаются ниже 0,19 у всех агентов, при этом повторный запуск одной и той же модели может дать больший разброс, чем полная смена моделей.
Я бы, вероятно, использовал дешёвую модель для рутинного объёма, а сомнительные случаи передавал людям или специализированным

У Google есть довольно несправедливое преимущество в цикле разработки Argon по сравнению с остальными передовыми лабораториями
Они владеют лежащими в основе Argon TPU и могут сразу внедрять модель в API, уже обрабатывающие около 22 млрд токенов в минуту.
Это довольно впечатляющая конфигурация.
Создать чипы → обучить модель → отправить её в невероятно широкую дистрибуцию → направить полученные преимущества в следующий запуск.
И Argon уже улучшает стек вокруг себя, высвободив более 300 ТиБ памяти дата-центров за счёт переноса +800 тыс. строк с C/C++ на Rust и превысив опубликованный базовый пока

.@AnthropicAI Форма S-1 довольно любопытна, потому что бизнес развивается почти слишком быстро для самого документа.
Выручка в 2025 году составила около 4,6 миллиарда долларов. Только во II квартале 2026 года она достигла примерно 11,5 миллиарда долларов, а к концу июля ARR, как сообщалось, превысил 65 миллиардов долларов.
Затем идут около 80 страниц факторов риска против 48 страниц о самом бизнесе, раскрытие информации о том, что за одну из недель, попавших в выборку, около 6% вычислительных ресурсов для исследований в области ИИ было направлено на безопасность, и довольно прямое признание то

Расходы потребителей выросли лишь с ~$12B → 40 миллиардов долларов.
Это гораздо более интересный сигнал, чем очередной рубеж по числу пользователей.
Уровень внедрения в США вырос лишь с 61% → 64%. Число пользователей во всём мире выросло примерно на 11%.
Существующие пользователи просто начали гораздо чаще доверять ИИ выполнение задач из своей жизни.
41% уже пробовали использовать агента. 32% уже позволяли ИИ действовать без окончательного одобрения. А 92% пользователей агентов платят за ИИ.
Так что следующий этап развития потребительского ИИ, вероятно, не потребует ещё одного миллиарда людей,