Эпоха рассуждений ИИ: как Nvidia создает корону следующей волны вычислительной мощности?

В эпоху GPT-3 модели с 175 миллиардами параметров уже казались огромными; сегодня модели с триллионами параметров и гибридные экспертные архитектуры стали нормой. Основной проблемой индустрии ИИ — задержки при выводе — становится следующей сложностью, которую Nvidia стремится преодолеть.

Философия дизайна GPU, ориентированная на «максимальную пропускную способность», сталкивается с серьезными вызовами в сценариях реального времени. Однако при обработке отдельных запросов пользователей — «небольшими пакетами и последовательной генерацией» — архитектура, зависящая от высокопроизводительной памяти HBM, вызывает частые переносы данных, что приводит к значительным задержкам и растрате энергии.

Появление LPU — это именно решение этой фундаментальной несогласованности архитектур.

Проникая сквозь шум сложной цепочки поставок, какие ключевые этапы заслуживают нашего внимания в эпоху вывода?