Останнім часом я задумався над досить болючою проблемою: ті AI-сервіси, які колись хвалилися «безкоштовним пробним періодом», тепер почали стягувати плату?

Насправді за цим стоїть дуже проста логіка — зросла вартість обчислювальної потужності. Не невелике підвищення, а повномасштабне зростання. Боротьба за чіпи NVIDIA вже переросла у геополітичну гру, а енергоспоживання дата-центрів наближається до меж електромережі. Епоха, коли інвестори фінансували наші субсидії, офіційно закінчилася.

Я раніше бачив рахунки деяких компаній. Господи, ці цифри можуть розбудити CFO посеред ночі. Одна компанія щомісяця робила понад десять мільйонів API-запитів, і виявилося, що вони робили найглупіше — використовували GPT-4 для скидання паролів користувачів, безпосередньо кидали десятки тисяч PDF-документів по тисячі слів у модель, щоб вона «знаходила відповіді сама», а ще ті агенти без належної системи обриву з'єднань безперервно повторювали запити при збої API.

Це здається технічними проблемами, але по суті — проблемами мислення.

Я виявив, що справді успішні команди зараз займаються трьома речами. По-перше — семантичне кешування — користувачі щодня питають «як скинути пароль» сотні разів, навіщо кожного разу викликати велику модель? Просто співставляти схожі питання і повертати кешовану відповідь, не витрачаючи токени. По-друге — стиснення підказок — алгоритмами зменшувати довгі системні підказки з 1000 токенів до 300 без втрати інформації, щоб між машинами вже спілкуватися мовою машин. По-третє — маршрутизація моделей — прості задачі передавати дешевим малим моделям, а складні логічні висновки — GPT-4.

Ще цікавіше — передові рамки. OpenClaw для адаптації до мобільних пристроїв з обмеженими ресурсами контролює використання токенів до абсолютного маніакалізму. Він змушує модель видавати відповіді у форматі JSON Schema, не дозволяє AI «спілкуватися», лише «заповнювати таблиці». Hermes вводить динамічну пам’ять — зберігає останні кілька раундів діалогу, і якщо перевищуємо ліміт — підсумовуємо їх у легкий модуль і зберігаємо у векторній базі. Це не сміття, а хірургічне управління пам’яттю.

По суті, мислення у галузі змінюється. Колишній підхід «зробити вигляд круто — підключити LLM» для споживацького рівня тепер має змінитися на інвестиційний. Кожен витрачений токен має давати ROI. Що ця сума принесе бізнесу? Якщо традиційне рішення коштує 0,1 юаня, а підключення великої моделі — 1 юань, але дає лише 2% підвищення конверсії — його відкидають. Без вагань.

Останнім часом я казав бізнесу «ні». Коли вони пропонували «а можна, щоб AI переглянув 100 тисяч аналітичних звітів і дав підсумок», я запитував у відповідь: «Ці кілька мільйонів токенів API коштують, а чи окупиться тобі цей бізнес-доход?»

Тиша.

Це звучить зовсім не круто, як старий магазинчик, що рахує витрати на закупівлю — дуже прозаїчно. Але саме такою має бути дорога AI-індустрії. Коли приплив відступить, виживуть не ті, хто тримає найдорожчу модель, а ті, хто дивиться на швидко зростаючі цифри токенів на панелі і все ще спокійно переконані, що заробляють більше, ніж витрачають.

Лише команда, яка цінує кожен токен як золото, зможе одягти справжній панцир.