В эпоху промышленной революции чем дешевле уголь, тем больше его сжигали. Сейчас в эпоху AI токены работают по тому же принципу

Когда токены дешевеют, AI-продукты наоборот могут их больше использовать
Раньше ты задавал вопрос — модель отвечала, и всё заканчивалось
Теперь ты кликаешь, агент в фоновом режиме разбирается с задачами, ищет информацию, настраивает инструменты, пишет код, исправляет ошибки, подводит итоги, проходит весь цикл
Поэтому один токен стал дешевле, но за один раз задача съедает слишком много токенов
Именно поэтому счета продолжают расти
После того, как паровая машина стала более экономичной в использовании угля, в Великобритании его не стало меньше. Потому что уголь стал более выгодным, и больше машин, фабрик, железных дорог начали его сжигать
Тот же принцип и с токенами
Когда они дешевеют, агент, глубокие исследования, программирование на AI, длинный контекст, автоматизация предприятий начинают действительно работать
Поэтому центр затрат AI смещается с обучения на инференс
Обучение — это временные затраты, а инференс — постоянные. Пользователи онлайн, он продолжает работать. Агент выполняет задачи — он продолжает работать. Чем длиннее контекст, тем больше кэш, оперативной памяти, пропускной способности, электроэнергии и охлаждения требуется
Именно поэтому AI-цепочка не может ограничиваться только GPU
HBM, DRAM, SSD, передовая упаковка, оптические модули, коммутационные чипы, CPU, инференсные чипы — все это переоценивается под новые требования инференса
Компании, разрабатывающие AI-приложения, также вынуждены делить слои
Те, кто только создают интерфейс и полностью полагаются на закрытые API, с ростом числа пользователей счета растут, а прибыль сокращается
Настоящие барьеры будут уходить вниз: маршрутизация, квантование, кэширование, пакетная обработка, обрезка контекста, замена больших моделей малыми
Да, токены — это уголь