Nvidia після придбання Groq на 20 мільярдів доларів вперше обговорює стратегію: оцінювати токени за якістю, низька затримка та висока ціна за одиницю — новий напрямок

ME Новини повідомляють, 16 квітня (UTC+8), згідно з моніторингом Бітінг Чек, що Дженсен Хуанг вперше детально пояснив стратегічну логіку придбання NVIDIA компанії Groq під час інтерв’ю. Минулого грудня NVIDIA придбала бізнес процесорів для виведення висновків Groq за 20 мільярдів доларів, засновник Groq Джонатан Росс та ключова команда приєдналися до NVIDIA, а Groq продовжує працювати як незалежна компанія. У березні на конференції GTC NVIDIA представила перший чіп після злиття — Groq 3 LPU, виготовлений за 4-нм технологією Samsung, NVIDIA заявила, що його обчислювальна пропускна здатність на один міліватт для моделей з трильйонами параметрів у висновках у 35 разів перевищує Blackwell NVL72. Хуанг сказав, що мотивація для придбання Groq — це ієрархія ринку висновків. Раніше оптимізація висновків мала лише один напрямок: підвищення пропускної здатності. Але комерційна цінність токенів значно зросла, і різні користувачі готові платити різну ціну за різні швидкості відповіді. «Якщо я можу забезпечити програмістам швидший токен відповіді, щоб вони були більш ефективними, я готовий платити за це. Але цей ринок з’явився лише нещодавно». Він описав це як розширення парето-краю ринку висновків: додавання нового сегмента з низькою затримкою та високою ціною за одиницю у порівнянні з існуючими високопродуктивними рішеннями. Для однієї й тієї ж моделі, диференційоване ціноутворення за часом відповіді, «хоча пропускна здатність нижча, ціна може компенсувати це». Архітектура Groq LPU відома своєю детермінованою низькою затримкою, вона доповнює високопродуктивний шлях GPU NVIDIA, і придбання заповнює прогалину у лінійці продуктів для висновків, якої не вистачало у NVIDIA. (Джерело: BlockBeats)