«Перший архітектор TPU від Google: справжній вузький місце AI — не обчислювальна потужність»

У цьому двогодинному інтерв’ю Reiner Pope поетапно пояснив фізику, що стоїть за тренуванням і виведенням моделей. Його висновки дуже важливі для розуміння ланцюжка індустрії AI — особливо чіпів, пам’яті та мережевих пристроїв.
Але оригінал дуже складний, і звичайний читач може втомитися від читання.
Тому я зроблю дві речі, не змінюючи жодного з намірів Reiner:
Перше — переформулюю простими словами.
Друге — з точки зору інвестицій виділю головне.
Стаття розділена на три частини: що зараз відбувається, які основи, і як це вплине на майбутні галузі.
Один, коротко:
Reiner у цій лекції найголовніше каже: справжній вузький місце AI — не обчислювальна потужність, а швидкість передачі даних. Це обмеження не зникне найближчим часом.
Якщо запам’ятати лише одну річ, то це вона. Більшість галузевих наслідків випливає саме з цього.
Чому це важливо? Тому що, куди йдуть гроші в ланцюжку AI, хто отримує вигоду — залежить від того, де саме вузьке місце.
Якщо вузьке місце — обчислювальна потужність, то переможцями будуть виробники GPU;
Якщо вузьке місце — передача даних, то гроші підуть іншим компаніям — пам’ять HBM, мережеві з’єднання між серверами, кабелі, комутатори, охолодження, джерела живлення.
Reiner чітко каже: вузьке місце — друге. Це видно з їхніх капіталовкладень: за оцінками галузі, приблизно половина їхніх витрат цього року йде на пам’ять.
Друге: обчислювальна потужність достатня, потрібні «перевізники»
Щоб зрозуміти, чому не бракує обчислювальної потужності, а потрібна пам’ять, зробимо аналогію.
Уявіть GPU як суперекономіста, який дуже швидко рахує.
Він отримує купу бухгалтерських книг (моделі параметрів), і може швидко порахувати.
Проблема в тому, що книги не у нього — вони зберігаються на складі.
Щоб порахувати, потрібно кожного разу переносити книги з складу до його столу, і потім назад.
Тут є два часи:
Час рахунку — наскільки швидко він може порахувати
Час перенесення — наскільки повільно книги переносяться туди і назад
Залишилось лише перейти до наступної частини.