【AI+NVDA】По сообщениям, NVIDIA выпустит чип для AI-инференса на конференции GTC　Чем он отличается от чипов Blackwell и Rubin?

Nvidia (США: NVDA, Nvidia) скоро проведет ежегодную конференцию GTC. Согласно сообщениям иностранных СМИ, генеральный директор Nvidia Дженсен Ху ожидает представить на этой конференции чип, ориентированный на «выводы» — то есть предназначенный для выполнения моделей, а не для их обучения.

Сообщается, что это станет первым новым продуктом Nvidia после того, как в декабре прошлого года компания заключила с стартапом в области AI-чипов Groq неконкурентное лицензионное соглашение стоимостью 20 миллиардов долларов, а основатель и ключевая команда Groq присоединились к Nvidia.

Groq известна разработкой языковых процессоров (Language Processing Unit, LPU), способных быстро реагировать на сложные AI-запросы. Через три месяца после сделки Nvidia планирует выпустить LPU на базе архитектуры Groq, которая будет работать совместно с предстоящим флагманским GPU Vera Rubin, чтобы противостоять конкурентам и расширить линейку продуктов для новых AI-приложений.

Сообщается, что за последние три года огромная рыночная капитализация Nvidia во многом обусловлена тем, что её GPU стали основой для генеративных AI-индустрий, используемых для обучения таких моделей, как ChatGPT от OpenAI. Ху считает, что одна система может одновременно использоваться для обучения новых AI-моделей и для запуска чат-ботов и инструментов кодирования, построенных на этих моделях. Крупные технологические компании уже вложили сотни миллиардов долларов в развертывание таких систем, одновременно инвестируя в разработку собственных специализированных AI-чипов. Кроме того, с усложнением AI-инструментов, таких как агенты, Ху может отказаться от идеи «одного GPU, способного обрабатывать любые нагрузки».

Новый чип для вывода основан на SRAM, а не на HBM-памяти

С другой стороны, поскольку HBM-память дорогая и её поставки всё более ограничены, поставщики памяти, такие как SK Hynix и Micron, могут не справиться с потребностями AI. Флагманские системы Nvidia Blackwell и Rubin используют высокопроизводительную память с высокой пропускной способностью для обработки больших объемов данных, используемых в AI-моделях.

Источники сообщают, что чип, похожий на Groq, от Nvidia будет использовать статическую оперативную память (SRAM), а не динамическую память (DRAM), используемую в HBM. SRAM проще в приобретении и более подходит для ускорения задач «вывода» AI.

Nvidia не комментирует вышеуказанные сообщения.