Американські компанії переходять на китайські моделі ШІ. Coinbase очолює використання GLM та Kimi.

Американські технологічні компанії непомітно інтегрують китайські моделі AI з відкритим кодом у виробничу інфраструктуру. Оскільки вартість послуг передових американських моделей продовжує зростати, компанії, такі як Coinbase, починають використовувати китайські моделі з відкритим кодом як опцію за замовчуванням, що дозволяє значно скоротити витрати на AI, не обмежуючи обсяг використання.

Генеральний директор Coinbase Браян Армстронг у п'ятницю ввечері на платформі X оголосив, що компанія встановила щойно випущену модель GLM 5.2 від Zhipu AI та модель Kimi 2.7 від Moonshot AI як моделі за замовчуванням для інженерів через внутрішній LLM-шлюз. Армстронг зазначив, що після впровадження заходів, таких як оптимізація маршрутизації та покращення кешування, витрати Coinbase на AI скоротилися «майже вдвічі», тоді як обсяг використання токенів продовжує зростати експоненційно.

Перевага китайських моделей з відкритим кодом у вартості виноситься на загальний огляд

Армстронг чітко зазначив у дописі, що 91% інженерів ніколи не досягали встановлених лімітів використання, тому Coinbase не знижувала ліміти і не додавала сповіщення про споживання, а замість цього перейшла на «дешевші моделі за замовчуванням».

GLM 5.2 від Zhipu AI, Kimi 2.7 від Moonshot AI — обидві є моделями з відкритими вагами. Армстронг зазначив, що ці моделі розгорнуті для звичайних завдань, тоді як для завдань, що потребують складного планування, інженери все ще можуть використовувати передові моделі. Його логіка: використання топових моделей на рівні виконання часто є «надлишковим».

Під час перевірки коду застосовується стратегія паралельної роботи кількох моделей, що дозволяє різним моделям перевіряти результати одна одної, щоб підтримувати стандарти якості.

Три рівні реконструкції інфраструктури, що сприяють скороченню витрат

Армстронг перелічив три ключові заходи.

Перший — інтелектуальна маршрутизація: у спеціальній системі планування система попередньо обробляє промпти, враховуючи коефіцієнт потрапляння в кеш та ціноутворення моделей, і автоматично розподіляє завдання на найбільш підходящу та економічну модель. Він зазначив, що кінцева мета — доручити вибір моделі AI, а не людині.

Другий — активне кешування: Coinbase вимагає, щоб усі запити були з урахуванням кешу, максимально використовуючи наявний кеш. На прикладі LibreChat, після правильного впровадження механізму кешування, показник попадань у кеш зріс з 5% до 60%.

Третій — спрощення контексту: Армстронг рекомендує починати нову сесію при перемиканні завдань, звужувати обсяг контексту файлу та відключати невикористовувані інструменти. Він наголосив, що мета — не зменшити загальну кількість використаних токенів, а зменшити «згаяні токени».

Ефективність насамперед, а не обмеження використання

Армстронг визначив це скорочення витрат як передумову для розширення масштабів впровадження AI, а не як обмеження. Він зазначив, що інженери все ще можуть вільно використовувати будь-яку кількість токенів і будь-які моделі, але компанія візуалізувала дані про використання та пов'язала обсяг використання з впливом на бізнес — «чим більше витрачаєте, тим більшого впливу ми очікуємо».

Він не розкрив конкретні абсолютні цифри витрат. Але структурно, досягнення майже вдвічі скорочення витрат при експоненційному зростанні обсягу використання означає, що Coinbase певною мірою розділив споживання та витрати.

Армстронг зробив висновок, що ця методологія є універсальною, і будь-яке підприємство може її запозичити, щоб досягти сталого зростання масштабів використання AI, не роблячи витрати стелею.