После приобретения Groq за 20 миллиардов долларов Nvidia впервые обсуждает стратегию: оценка токенов для вывода логики должна основываться на качестве, низкая задержка и высокая цена за единицу — это новая гонка

ME News Новости, 16 апреля (UTC+8), согласно мониторингу 动察 Beating, 黄仁勋 впервые подробно объяснил стратегическую логику приобретения 英伟达 компании Groq в интервью. В декабре прошлого года 英伟达 приобрела бизнес процессоров для inference компании Groq за 20 миллиардов долларов, основатель Groq Джонатан Росс и ключевая команда присоединились к 英伟达, а Groq продолжает работать как независимая компания. В марте на конференции GTC 英伟达 представила первый чип после слияния — Groq 3 LPU, произведённый по 4-нм технологии Samsung, 英伟达 заявил, что его inference пропускная способность на ватт при моделях триллионных параметров в 35 раз превышает Blackwell NVL72. 黄仁勋 сказал, что движущей силой приобретения Groq является иерархия рынка inference. Ранее оптимизация inference шла в одном направлении: увеличение пропускной способности. Но коммерческая ценность токенов значительно выросла, и разные пользователи готовы платить разную цену за разную скорость отклика. «Если я могу предоставить программистам более быстрые токены, чтобы они работали эффективнее, я буду за это платить. Но этот рынок появился только недавно.» Он описал это как расширение парето-границы рынка inference: помимо существующих решений с высокой пропускной способностью, появляется сегмент с низкой задержкой и высокой ценой за единицу. Для одной и той же модели, дифференцированное ценообразование по времени отклика, «хотя пропускная способность ниже, цена может компенсировать это». Архитектура LPU Groq славится низкой задержкой с детерминированным поведением, дополняя высокопропускные решения 英伟达 GPU, а приобретение заполняет пробел в продуктовой линейке inference 英伟达. (Источник: BlockBeats)