Так что вокруг ходят интересные новости о Groq, связанные с стратегическим шагом NVIDIA в области инференса. Оказывается, Дженсен Хуанг только что объяснил истинное мышление за тем, почему они изначально обратились к Groq.

В декабре прошлого года NVIDIA потратила $20 миллиардов долларов на приобретение бизнеса по производству инференционных чипов Groq. Основатель Джонатан Росс и его команда перешли в NVIDIA, но вот в чем дело — Groq по-прежнему работает независимо. Затем на GTC в марте этого года они показали чип Groq 3 LPU, созданный на 4-нм процессе Samsung. Производительные показатели просто потрясающие: в 35 раз выше пропускная способность инференса на мегаватт при моделях с триллионами параметров по сравнению с Blackwell NVL72 от NVIDIA.

Но что действительно привлекло мое внимание — это объяснение Хуанга рыночной динамики, которая движет этим процессом. Он говорит о том, как рынок инференса разделяется на разные сегменты. Годами все сосредотачивались на одном: максимизировать пропускную способность. Но это меняется. Экономика токенов резко изменилась. Разные пользователи теперь по-разному ценят скорость отклика, и готовы платить соответствующую цену.

Хуанг ясно выразился: если вы можете дать разработчикам токены с более быстрым откликом, что повышает их продуктивность, они заплатят премиальную цену за такую возможность. Это относительно новый рынок, который недавно начал формироваться. Он по сути расширяет границу Парето — добавляя сегмент с низкой задержкой и более высокой ценой за токен наряду с существующими решениями с высокой пропускной способностью.

Именно архитектура LPU от Groq здесь играет роль. Она создана для детерминированной низкой задержки, что почти противоположно тому, на что оптимизируют GPU. GPU превосходят по пропускной способности. Так что приобретение Groq в основном заполняет пробел в стратегии продуктов NVIDIA. Можно запускать одну и ту же модель двумя разными способами: максимизировать пропускную способность на GPU или достигать ультра-низкой задержки на LPU от Groq. Разные модели ценообразования для разных сценариев использования.

Эта новость о Groq действительно подчеркивает, как рынок AI-инференса развивается дальше, чем просто сырая вычислительная мощность. Речь идет о понимании того, что действительно нужно разным клиентам, и создании правильных инструментов для каждого сегмента. Довольно умный ход, если спросите меня.