Я помітив щось цікаве у стратегії NVIDIA на даний момент. Минулого тижня Дженсен Хуанг детально пояснив, чому NVIDIA інвестувала 20 мільярдів доларів у придбання Groq, і чесно кажучи, це блискуче стратегічне рішення, яке показує, як ринок інференції змінюється.

Отже, ось контекст: довгий час усі зосереджувалися на одній метриці — пропускній здатності. Але Groq зрозумів щось, що інші пропустили. Інженери-програмісти тепер готові платити більше за швидші відповіді. Це зовсім новий сегмент ринку. Як сказав Хуанг, якщо можна пропонувати токени з ультра-низькою затримкою, що робить розробників більш продуктивними, вони будуть платити за це. Це ринок, який щойно починає з’являтися.

І саме тут на сцену виходить Groq. Це придбання заповнює важливу прогалину в арсеналі інференції NVIDIA. У той час як NVIDIA домінує у сегменті високої пропускної здатності з традиційними рішеннями, Groq пропонує щось зовсім інше: архітектуру LPU, відому своєю надзвичайно низькою детермінованою затримкою. У березні на GTC NVIDIA представила Groq 3 LPU, виготовлений за 4 нм у Samsung. Цифри вражають — у 35 разів більше інференції на мегаваті для моделей з 1000 мільярдами параметрів у порівнянні з Blackwell NVL72.

Це в основному розширення кривої Парето ринку. Замість вибору між високою пропускною здатністю або низькою затримкою, NVIDIA тепер створює два окремі сегменти. Groq продовжує діяти як незалежна структура, Джонатан Росс та його команда приєдналися до NVIDIA. Саму модель можна оцінювати по-різному залежно від часу відповіді — менша пропускна здатність, але цінова політика за одиницю продуктивності цілком компенсує це. Це чистий бізнес-гений, і це показує, як ускладнюється ринок штучного інтелекту. Обидва підходи співіснуватимуть, і клієнти обиратимуть залежно від своїх реальних потреб.