«Бывший архитектор TPU от Google: настоящая узкая часть AI — не вычислительная мощность, а скорость передачи данных»

В этом двухчасовом интервью Рейнер Попе на доске шаг за шагом объяснил физику, лежащую в основе обучения и вывода. Его вывод очень важен для понимания цепочки индустрии AI — особенно чипов, памяти и сетевых устройств.
Но оригинальный текст очень сложен, обычному читателю читать его будет утомительно.
Поэтому я без изменения сути Рейнера сделаю две вещи:
Первое — изложу всё простыми словами.
Второе — выделю ключевые моменты с точки зрения инвестиций.
Статья разбита на три части: что сейчас происходит, как работают базовые принципы, и как это повлияет на будущие отрасли.
一、сначала одним предложением ясно объяснить
Главное мнение Рейнера в этой лекции — настоящая узкая часть AI — не вычислительная мощность, а скорость передачи данных. Эта проблема не решится в ближайшее время.
Если запомнить только один момент, запомните именно это. Практически все выводы о индустрии исходят из этого.
Почему это важно? Потому что, куда идут деньги в цепочке AI — кто зарабатывает и кто получает выгоду — зависит от «где узкое место».
Если узкое место — вычислительная мощность, победителями станут производители GPU;
если узкое место — передача данных, деньги уйдут другой группе компаний — производителям HBM-памяти, сетевым соединениям между серверами, кабелям, коммутаторам, жидкостному охлаждению, источникам питания.
Ответ Рейнера очень ясен: узкое место — во втором случае. Он видит это прямо из структуры капиталовложений крупных компаний — по оценкам отрасли, примерно половина их затрат в этом году идет на память.
二、вычислительной мощности достаточно, нужны «перевозчики»
Чтобы понять, почему не хватает именно памяти, а не мощности, приведу пример.
Представьте GPU как супер-учёта, который очень быстро считает. У него есть стопка книг с моделями (параметрами), он может быстро посчитать.
Проблема в том, что книги не у него под рукой, а в складе. Каждый раз, чтобы посчитать, нужно кто-то перенести книгу со склада на его стол, он посчитает — и вернуть обратно.
Здесь есть два времени:
Время подсчёта — насколько быстро он может считать
Время перевозки — насколько медленно книги перемещаются туда и обратно
Как обычно, статья длинная, и я сразу перехожу к сути.