All In Podcast останній випуск: як кілька лідерів галузі дивляться на Micron, вузькі місця в пам'яті, китайські моделі з відкритим кодом та розподілені обчислення

Цей випуск All In Podcast містить багато інформації, я вибрав кілька тем, які, на мою думку, варто обговорити, і систематизував їх.
Спочатку про китайські моделі з відкритим кодом — прогрес швидший, ніж очікувалося
Компанія Zhipu AI випустила нове покоління Frontier-моделі з відкритим кодом GLM 5.2, з 744 мільярдами параметрів і контекстом у 1 мільйон токенів, повністю за ліцензією MIT. Тестові дані вражають: у бенчмарку програмної інженерії вона перевершила GPT-5.5, і лише на менш ніж 1% відстає від найкращої моделі Anthropic, Claude Opus 4.8, але ціна API на 85% нижча, ніж у американських моделей з аналогічною продуктивністю.
У програмі є цікава деталь: один із методів, який використовують китайські команди для прискорення, — це створення «ферми пристроїв» з тисяч телефонів та iPad, використання зашифрованих акаунтів для високочастотних запитів до API топових американських Frontier-моделей, збір ланцюгів міркувань і подача їх власним моделям з відкритим кодом для посиленого навчання. Це еквівалентно використанню еталонних відповідей, отриманих американськими лабораторіями за величезні кошти, як шпаргалки, щоб досягти близької продуктивності з низькою вартістю.
Сакс висловив досить різку думку: він критикує Даріо з Anthropic за те, що той раніше підштовхував уряд США до створення складних процедур безпеки, що лише сповільнило темпи самих США. Модель Fable була знята через звинувачення в «джейлбрейку», а нові моделі OpenAI важко проходять перевірку. Його висновок: китайські моделі технічно відстають приблизно на 9 місяців, а щодо чіпів — на 24 місяці, але вони вже повністю навчили сімейство GLM5 на локальних чіпах, таких як Huawei Ascend. У майбутньому ці «AI-коробки», оптимізовані під місцеві чіпи, дешеві та зручні, можуть бути демпінгово продані на світовому ринку, тоді як США самі встановлюють різні обмеження, втрачаючи цей трильйонний експортний ринок.
Щодо звіту Micron, у програмі дали точну оцінку: DRAM є справжнім вузьким місцем всієї хвилі AI
Дохід Micron у цьому кварталі зріс у чотири рази порівняно з минулим роком, з 9 мільярдів до 42 мільярдів, прогноз значно перевищив очікування, а потужності HBM на 2026 рік вже повністю розпродані.
У програмі є пряма думка: раніше всі в Twitter шукали різні японські допоміжні компанії як «акції вузьких місць», але справжнім ключем є лише DRAM, особливо HBM. Причина проста: пропускна здатність та об'єм пам'яті визначають фізичну стелю продуктивності всіх великих моделей — це жорстке обмеження, яке не обійти. Навіть згадується, що технічним ядром суперзаводу, який будує Маск, є DRAM, а не оптоволокно, джерела живлення чи NAND-флеш.
Micron також зробив цікаву зміну в бізнес-моделі: підписав довгострокові угоди з провідними хмарними провайдерами із захистом «мінімальної та максимальної ціни», заблокувавши 50% майбутніх доходів. Це означає, що навіть якщо в майбутньому настане спад у галузевому циклі, мінімальна контрактна ціна буде вищою за пік валового прибутку в будь-якому попередньому циклі.
Щодо бар'єрів входу, хоча китайська CXMT готується до IPO і в майбутньому може використовувати дешеву низько- та середньо-рівневу споживчу пам'ять для зменшення витрат таких гігантів, як Apple, у сфері топового HBM для AI-серверів лише три компанії у світі здатні виробляти: Micron, SK Hynix та Samsung. Технологічний процес надзвичайно складний, і наздогнати його за короткий термін неможливо.
У програмі дали досить гіперболічний прогноз: у наступному році від 30% до 40% всіх глобальних капітальних витрат на масштабні обчислення будуть спрямовані безпосередньо виробникам DRAM-чіпів. Це зростання витрат вже змусило Apple підвищити роздрібні ціни на MacBook та Mac Studio.
Частина про граничні обчислення та розподілені міркування є найбільш уявною в цьому випуску; поділюся кількома ідеями, які мені здалися цікавими
18 червня Tesla подала заявку на товарний знак «Megapod». Фізична логіка така: будівництво наземного дата-центру потужністю 1 гігават вимагає надзвичайно довгих процедур погодження землі, енергоспоживання та рідинного охолодження. Ідея Megapod полягає в інтеграції GPU, батарейної мережі та системи охолодження в контейнерний модульний дата-центр, який можна розмістити безпосередньо на вже затвердженій мережі суперзарядних станцій Tesla з готовою електромережею та вільною землею, обходячи найбільше вузьке місце традиційного будівництва дата-центрів — погодження та підключення до електромережі.
Логіка розподілених міркувань також цікава: відповідь моделі можна розділити на два етапи — етап Prefill для розуміння запитання та етап Decode з високою пропускною здатністю та великим споживанням пам'яті. Великі інвестори можуть купувати зношені старі GPU, підключати спеціалізовані чіпи для оптимізації декодування, утворюючи дешевшу розподілену мережу міркувань.
Ще більш божевільна ідея: у майбутньому надавати знижки користувачам домашніх батарей Powerwall, примусово вбудовувати AI-чіпи в кожну батарею, а разом з супутниковим з'єднанням Starlink, коли батареї не використовуються, автоматично формувати величезний розподілений P2P-пул міркувань, отримуючи безперервну майже безкоштовну офшорну обчислювальну потужність. Якщо ця ідея справді реалізується, це стане нищівним ударом по традиційних хмарних гігантах.
Найбожевільніша частина — космічні обчислення. Будівництво наземного дата-центру потужністю 1 гігават потребує $35 мільярдів на чіпи та $25 мільярдів на охолодження та робочу силу, а також різні суперечки щодо землекористування. Але з повним багаторазовим використанням Starship від SpaceX вартість запуску 1 гігавата обчислювальної потужності на орбіту через лазерне з'єднання може впасти всього до $5 мільярдів. Природне холодне середовище космосу та майже безмежна сонячна енергія можуть зробити економіку експлуатації космічних дата-центрів вигіднішою за наземні протягом 3–4 років.