Як розуміти: в AI великих мовних моделях гроші, які ви платите за token, — це насправді плата за оренду обчислювальної потужності графічних карт?

Простіше кажучи, token — це «мінімальна одиниця прожитку» AI великої мовної моделі.
Як коли ми в дитинстві вчилися читати, спочатку вчили окремі символи, а потім запам'ятовували часто використовувані словосполучення — це було ефективніше.
AI насправді не розпізнає китайські ієрогліфи чи англійську літеру, він розпізнає тільки цифри. Коли ви вводите речення, його спочатку розбивають на окремі token'и, кожний token відповідає одному числовому коду, і AI насправді обробляє цей рядок цифр. При виводі це працює навпаки: спочатку генерується числовий код, потім він перекладається назад у текст для вас.

🔹Тоді як AI знає, яке слово з найбільшою ймовірністю буде наступним?
Завдяки тренуванню на величезних текстах, запам'ятовування того, яке слово найчастіше йде після кожного token'а. Усі ці ймовірності зберігаються в сотнях мільярдів параметрів, як «довідник знань» великої мовної моделі.
При генеруванні відповіді AI насправді «викидає по одному token'у за раз». При кожному викиді здійснюється пошук у всьому довіднику — усіх можливих наступних слів у словнику дають оцінки, вибирається слово з найвищою оцінкою.

🔹Тому ця робота обов'язково потребує величезних обчислювальних потужностей, саме тому GPU так важливі.
CPU — як розумний, але однопоточний професор, який листає сторінки книги — як би швидко він не працював, все одно є обмеження. GPU — як кілька тисяч школярів, які одночасно починають роботу, вони розбивають довідник на кілька тисяч частин, працюють паралельно, і миттєво обраховують сотні мільйонів параметрів.

Тому у графічних картах два ключові показники: що більше ядер, то більша паралельна обчислювальна потужність. Зараз весь світ безумовно споживає token'и, в основі цього — безліч графічних карт в бекенді, які безумовно працюють, послідовно переглядаючи довідник та оцінюючи результати👇

Отже, гроші, які ви платите за token, — це насправді плата за оренду обчислювальної потужності графічної карти.
А графічні карти потребують електроенергії та накопичувача, тому в індустрії одна фраза підсумовує все:
AI короткострокова нестача обчислювальної потужності, довгострокова нестача енергії, і вічна нестача накопичувача.