Сегодняшний ИИ управляется 5 видами аппаратных архитектур, каждая из которых делает разные компромиссы между гибкостью, параллелизмом и доступом к памяти.

ЦПУ: универсальный вычислительный дизайн, имеет немного мощных ядер, хорошо справляется со сложной логикой, ветвлениями и системными задачами. Имеет глубокий кэш и внешнюю DRAM (основную память), подходит для операционных систем, баз данных и т. д., но не очень эффективен для повторяющихся матричных умножений, необходимых для нейронных сетей.
ГПУ: не ограничивается несколькими мощными ядрами, а состоит из тысяч меньших ядер, выполняющих одинаковые инструкции одновременно (SIMD). Эта высокая степень параллелизма идеально подходит для математических операций нейронных сетей, поэтому ГПУ доминирует в обучении ИИ.
TPU (разработан Google): более специализированный. Ядро — это сетка из умножающих-сложения (MAC) блоков, данные проходят в виде «волны» — веса поступают с одной стороны, активаторы — с другой, результат передается напрямую, без необходимости перезаписи в память. Вся исполнительная часть управляется компилятором (не аппаратным планировщиком), оптимизирована специально для нагрузки нейронных сетей.
NPU (нейронный вычислительный блок): оптимизирован для периферийных устройств. Встроенный Neural Compute Engine (массив MAC + встроенная SRAM), использует низкое энергопотребление системной памяти вместо высокоскоростной HBM. Цель — запускать выводы на мобильных устройствах, носимых гаджетах, IoT и подобных сценариях с потреблением в пределах нескольких ватт (Apple Neural Engine, Intel NPU — примеры).
LPU (Language Processing Unit, разработан Groq): новейший участник. Полностью исключена внешняя память, все веса хранятся в встроенной SRAM. Выполнение полностью детерминировано, управляется компилятором, без пропусков кэша и накладных расходов на выполнение во время работы. Цена — ограниченная память на один чип, требуется сотни соединенных чипов для обслуживания крупных моделей, но преимущества по задержке очень заметны.