Сьогоднішній ШІ домінують 5 типів апаратних архітектур, кожна з яких робить різний баланс між гнучкістю, паралельністю та доступом до пам’яті.

ЦП: універсальний дизайн обчислень, має кілька потужних ядер, добре справляється зі складною логікою, гілками та системними задачами. Має глибокий кеш і позасистемну DRAM (основну пам’ять), підходить для операційних систем, баз даних тощо, але не дуже ефективний для повторюваних матричних множень, необхідних для нейронних мереж.
ГПУ: не кілька потужних ядер, а тисячі менших ядер, що одночасно виконують однакові інструкції (SIMD). Така висока паралельність ідеально підходить для математичних обчислень у нейронних мережах, тому ГПУ домінують у тренуванні ШІ.
TPU (розробка Google): ще більш спеціалізовані. Ядра — це сітка з множин MAC-одиниць, дані течуть у «хвилях» — ваги входять з однієї сторони, активи з іншої, результат безпосередньо передається далі, без повторного запису в пам’ять. Весь процес керується компілятором (не апаратним плануванням), оптимізований для навантажень нейронних мереж.
NPU (Neural Processing Unit): оптимізована версія для краєвих пристроїв. Вбудований Neural Compute Engine (велика кількість MAC-матриць + внутрішня SRAM), але використовує низьковольтну системну пам’ять замість високошвидкісної HBM. Мета — запуск inference на мобільних пристроях, носимих гаджетах, IoT тощо з потужністю в кілька ват. (Apple Neural Engine, Intel NPU — приклади).
LPU (Language Processing Unit, розроблений Groq): найновіший учасник. Повністю позбавлений зовнішньої пам’яті, всі ваги зберігаються у внутрішній SRAM. Виконання — повністю детерміноване, керується компілятором, без кеш-промахів і накладних витрат під час виконання. Вартість — обмежена пам’ять на один чіп, потрібно кілька сотень чіпів у мережі для великих моделей, але затримка дуже низька.