Після оновлення ChatGPT, коли я з ним розмовляю, майже немає затримки. Найновіша модель реального часу для голосу має затримку приблизно 200–300 мс, а природний інтервал реакції людини в діалозі теж становить 200–300 мс. Тобто це однаково.

Але ціна нульової затримки — це забування. Контекстне вікно моделі реального часу для голосу має лише 32k token, що становить 1/300 від текстової моделі. Низька затримка = мало пам’яті + активне забування. Потрібно і відповідати миттєво, і пам’ятати кожну фразу, яку ти сказав/сказала — наразі це дилема.
Обчислювальної потужності все ще недостатньо. Один 5090 для генерації зображення SDXL потребує 2 секунди, FLUX — 9 секунд; щоб натренувати LoRA для персонажа потрібно 10–30 зображень — зараз на це йде від однієї до двох годин.
Я орендую 5090, і її ціна майже 5000 доларів, повна загрузка 575W, і це ще без урахування електроенергії. За відносною обчислювальною потужністю картки на 2–3 роки швидко застарівають. Це справді дуже дорого.
Ми 15 років тому обмінювалися SMS, потім з’явилися мультимедійні повідомлення, які могли передавати зображення, потім — відео, аж до нинішніх беззатримних високоякісних дзвінків у реальному часі. Одне SMS — лише 140 байтів. Від 2G з 9,6 kbps до піку 5G 20Gbps — різниця в пропускній здатності у 2 мільйони разів.
Маршрут використання AI абсолютно такий самий. Спочатку були текстові токени; торік можна було працювати з зображеннями; далі — голос, і наступний крок, безумовно, — спілкування без затримки у форматі відео.
Власне, відео вже почалося: Gemini Live торік уже могла вести діалог із увімкненою камерою в реальному часі, спалюючи 300 токенів щосекунди. За замовчуванням ліміт — 2 хвилини, але щойно поспілкувався — і все забулося, дорого + ефект слабкий + різні виміри ще дуже сирі, через що це майже неможливо використовувати.
Зараз агенти все ще використовують текст для планування, і через текст розуміють цей світ; вся ланка міркувань — це токени. І лише непов’язані з текстом глибинні просторові міркування щойно починають пробувати.
Розуміння AI часу також залишається на рівні тексту: навіть моделі, які беруть золото на математичних олімпіадах, зчитують точність симульованого годинника лише на рівні приблизно 50%. Дотик, емоції, тілесне сприйняття — до зрілості ще дуже, дуже далеко.
Ще раз про зберігання. Я, втім, не думаю, що “завжди бракуватиме пам’яті”. Слово “завжди” занадто перебільшене.
Вартість зберігання за 1 ГБ за 45 років впала на 99,99%, тож у довгостроковій перспективі вона, звісно, стане ще дешевшою.
Проблема лише в тому, що зараз AI висмоктує всю оперативну пам’ять: DRAM за один квартал зростає на 90%, відбувається фазовий дефіцит. Але це не означає, що товару “завжди” не буде.
То це чи не є фальшивою потребою? Ознака фальшивої потреби така: цього місяця вона була потрібна, а наступного місяця — уже ні.
Google щомісяця обробляє токени, і за рік це зростає в 7 разів — до 3200 трильйонів. Життєвий цикл (周活) ChatGPT — 9 мільярдів.
Ціна token падає щороку удесятеро, але всі обговорюють, як використовувати токени ефективніше, а не як нам їх не використовувати.
Токени, які спалює одне агентне спілкування, — це 50–200 для однієї сесії. Якщо ціна падатиме, ми просто використовуватимемо більше.
Генеративний AI за три роки досяг 53% проникнення по всьому світу. Інтернет використовували 7 років, ПК — 15 років.
Тому ми, звісно, все ще на ранній стадії AI, і трансформація незворотна. Як і в наші часи епохи 2G: мелодії на дзвінок — це “浪漫手机”, і навіть коли в “вхідних” було повно, ми все одно не хотіли видаляти кілька SMS.
(Зображення зроблене мною в Fable5 🎮)