Американські технологічні компанії тихо переходять на китайські моделі ШІ, Coinbase першим використовує GLM та Kimi

Американські технологічні компанії непомітно інтегрують китайські моделі ШІ з відкритим кодом у свою виробничу інфраструктуру. Оскільки вартість послуг топових американських моделей продовжує зростати, компанії на чолі з Coinbase починають використовувати китайські моделі з відкритим кодом як варіант за замовчуванням, щоб значно скоротити витрати на ШІ без обмеження обсягів використання.

Генеральний директор Coinbase Браян Армстронг у п'ятницю ввечері на платформі X повідомив, що компанія встановила нещодавно випущені GLM 5.2 від Zhipu та Kimi 2.7 від Beijing Moonshot як моделі за замовчуванням для інженерів через внутрішній шлюз LLM. Армстронг зазначив, що після впровадження оптимізації маршрутизації та покращення кешування витрати Coinbase на ШІ скоротилися «майже вдвічі», тоді як використання токенів продовжує зростати експоненційно.

Перевага китайських моделей з відкритим кодом у вартості стає очевидною

Армстронг чітко вказав у дописі, що 91% інженерів ніколи не досягали початкових лімітів використання, тому Coinbase не знижувала ліміти та не додавала сповіщення про витрати, а натомість перейшла на «дешевші моделі за замовчуванням».

GLM 5.2 від Zhipu та Kimi 2.7 від Beijing Moonshot — обидві є моделями з відкритими вагами. Армстронг зазначив, що ці моделі використовуються для звичайних завдань, а для складних завдань, що потребують планування, інженери можуть обирати передові моделі. Його логіка: використання топових моделей на виконавчому рівні часто є «стріляниною з гармати по горобцях».

У процесі перевірки коду застосовується стратегія паралельних моделей, де різні моделі взаємно перевіряють результати, щоб підтримувати стандарти якості.

Три рівні реструктуризації інфраструктури для скорочення витрат

Армстронг перерахував три ключові заходи.

Перший — інтелектуальна маршрутизація: у власній системі планування система попередньо обробляє запити, враховуючи частоту кеш-попадань і ціни моделей, і автоматично розподіляє завдання на найбільш підходящі та економічні моделі. Він зазначив, що кінцева мета — доручити вибір моделі ШІ, а не людині.

Другий — активне кешування: Coinbase вимагає, щоб усі запити мали здатність враховувати кеш, максимально використовуючи наявний кеш. Наприклад, у LibreChat після правильного впровадження механізму кешування частота кеш-попадань зросла з 5% до 60%.

Третій — оптимізація контексту: Армстронг рекомендує починати новий сеанс під час перемикання завдань, звужувати контекст файлів і відключати невикористовувані інструменти. Він наголосив, що мета — не зменшити загальну кількість використаних токенів, а зменшити «витрачені даремно токени».

Пріоритет ефективності, а не обмеження використання

Армстронг охарактеризував це скорочення витрат як передумову для розширення масштабів впровадження ШІ, а не як обмеження. Він зазначив, що інженери все ще можуть вільно використовувати будь-яку кількість токенів і будь-які моделі, але компанія візуалізувала дані про використання та пов'язала використання з впливом на бізнес — «чим більше витрачаєте, тим більшого впливу ми очікуємо».

Він не розкрив конкретні абсолютні цифри витрат. Але структурно, при експоненційному зростанні використання досягти майже вдвічі менших витрат означає, що Coinbase певною мірою відокремила споживання від витрат.

Висновок Армстронга: ця методологія є універсальною, і будь-яка компанія може її запозичити, щоб забезпечити стале розширення використання ШІ без встановлення витрат як стелі.

Попередження про ризики та відмова від відповідальності

        Ринок ризикує, інвестуйте обережно. Ця стаття не є інвестиційною рекомендацією та не враховує особливі інвестиційні цілі, фінансовий стан чи потреби окремих користувачів. Користувачі повинні враховувати, чи відповідають будь-які думки, поради або висновки в цій статті їхнім конкретним обставинам. Інвестування на основі цього здійснюється на власний ризик.