Недостатність GPU знову на передовій: хмарні провайдери, такі як Microsoft, обмежують постачання, стартапи з штучного інтелекту платять на 32% більше за оренду чіпів і все ще чекають до кінця року

Згідно з моніторингом Beating, кілька стартапів у галузі штучного інтелекту повідомили, що хмарні провайдери, такі як Microsoft і Amazon, концентрують GPU-обчислювальні ресурси для внутрішніх команд і великих клієнтів (OpenAI, Anthropic), тоді як малі та середні клієнти стикаються з підвищенням цін, довгим очікуванням і більш жорсткими умовами контрактів. Керівництво продажів Microsoft Azure нещодавно повідомило співробітників, що очікуваний час очікування GPU для хмарних клієнтів триватиме до кінця 2026 року.

Конкретний випадок: стартап з генерації зображень Krea (з фінансуванням $8300 тисяч доларів, інвестори включають Andreessen і Bain Capital Ventures) півроку тому орендував кілька сотень чіпів Blackwell за ціною $2.80 за годину на карту, уклавши 6-місячний контракт. Під час продовження контракту кілька хмарних провайдерів не відповідали на дзвінки, і в кінцевому підсумку угода була укладена за $3.70/годину, що на 32% дорожче, а термін контракту був подовжений до 1 року. Генеральний директор Віктор Перес зазначив, що деякі провайдери просто не відповідають, а інші пропонують трирічні контракти для переговорів. Генеральний директор Lightning AI, компанії, що надає GPU у хмарі, Вілл Фалкон, повідомив, що у компанії є 40 000 GPU, але загальний попит понад 40 компаній-клієнтів, які очікують у черзі, досягає 40 тисяч GPU, а ціни оренди зросли більш ніж на 25% за півроку.

Microsoft застосовує ієрархічне управління доступом до GPU: приблизно 1000 найбільших клієнтів (Tier 1) отримують пріоритетне розподілення; малим клієнтам, які хочуть орендувати чіпи Blackwell, потрібно обіцяти оренду щонайменше 1000 штук на рік, з контрактом на мільйони доларів. Клієнти з оплатою за використання (pay-as-you-go), якщо залишать GPU без діла на кілька годин, Microsoft може без попередження забрати доступ. Стартапи, що беруть участь у безкоштовній програмі «Microsoft for Startups», також були повідомлені, що при недостатньому використанні їхні права на GPU можуть бути відкликані.

Партнер General Catalyst Хемант Танея запитав у підконтрольних компаній опитування щодо обмежень обчислювальних потужностей, і ця організація планує створити спільний пул обчислювальних ресурсів або колективно домовлятися про ціну через агентські компанії. Деякі стартапи починають розглядати можливість самостійного придбання GPU: стартап з AI у нафтовій галузі Collide планує витратити близько $50 тисяч доларів на купівлю GPU NVIDIA, орендувати дата-центр і запускати власні обчислення, щоб уникнути черг і невизначеності.