После обновления ChatGPT я разговариваю с ним почти без задержек. Задержка у последних актуальных моделей реальной голосовой связи — примерно 200-300 мс, а естественный интервал реакции при человеческом диалоге тоже 200-300 мс. То же самое.

Но цена нулевой задержки — забывание. Контекстное окно у модели реального голоса всего 32k токенов, это 1/300 от чисто текстовой модели. Низкая задержка = маленькая память + активное забывание. Нужно отвечать мгновенно и при этом помнить каждую фразу, которую ты произнёс — сейчас это дилемма.
Вычислительной мощности всё время не хватает. Одна карта 5090 для генерации картинки SDXL нужна примерно 2 секунды, FLUX — 9 секунд. Чтобы обучить персонажа LoRA, нужно 10-30 изображений, сейчас это занимает от одного до двух часов.
Я арендуемой 5090 стоит почти 5000 долларов, при полной загрузке 575W, и это ещё без учёта электроэнергии. Зафиксированные на 2-3 года относительные мощности быстро устаревают. Это правда очень дорого.
Мы 15 лет назад переписывались друг с другом по SMS, потом появилась возможность передавать картинки через MMS, затем — отправка видео, и вот теперь дошло до беззадержной качественной связи в реальном времени. Одно SMS — это всего 140 байт. От 2G с 9,6kbps до пиков 5G 20Gbps — разница по пропускной способности в 2 миллиона раз.
Маршрут, которым пользуется AI, один и тот же. Сначала были текстовые токены, к прошлому году — изображения, теперь — речь; следующим шагом, без сомнения, станет связь без задержек в видеорежиме.
На самом деле видео уже началось: Gemini Live в прошлом году уже мог вести диалог с включённой камерой в реальном времени, сжигая по 300 токенов в секунду. По умолчанию лимит — 2 минуты, но после разговора всё стирается — вообще не осталось ничего. Дорого, эффект слабый, и пока всё очень сыро по разным измерениям, поэтому в итоге почти не получается использовать.
Сейчас Agent всё ещё строит планы, используя текст, и воспринимает этот мир через текст; вся цепочка рассуждений — это токены. Ненадписанные (не-текстовые) скрытые рассуждения только-только начали пробовать.
Понимание времени у AI тоже остаётся на уровне текста: даже модели, которые берут золотые медали на математических олимпиадах, при чтении симулированных часов точность — всего около 50%. Осязание, эмоции, телесное восприятие — до зрелости ещё очень-очень далеко.
Теперь про хранение. Я, правда, не думаю, что «всегда не хватает памяти». Слово «всегда» звучит слишком громко.
Стоимость хранения на каждый GB упала на 99,99% за 45 лет — в долгосрочной перспективе, конечно, станет ещё дешевле.
Просто сейчас AI высасывает оперативную память: DRAM растёт на 90% за квартал — это дефицит на коротком этапе, но это не значит, что «всегда» будет нехватка.
Так это не похоже ли на псевдопотребность? Признак псевдопотребности — то, что в этом месяце используется, а в следующем уже не используется.
Google обрабатывает токены в месяц: рост за год в 7 раз — до 32 миллионов триллионов. У ChatGPT еженедельная активность — 900 миллионов.
Цена токенов каждый год падает в 10 раз, но все обсуждают, как использовать токены эффективнее, а не как нам их не использовать.
Токены, которые сжигает сессия одного agent, — это 50-200 за одну беседу. Если цена снизится, мы будем использовать их только больше.
Generative AI за 3 года дошёл до 53% проникновения в мире, интернет потребовался 7 лет, PC — 15 лет.
Так что, конечно, мы ещё на ранней стадии AI, и трансформация необратима. Как и мы в эпоху 2G: мелодии вместо гудков всё ещё были «Romantic Phone», и даже когда входящий ящик был переполнен, всё равно было жалко удалять пару SMS.
(Картинка — я сделал её в Fable5🎮)