Американские компании переходят на китайские AI-модели. Coinbase лидирует, используя GLM и Kimi.

Американские технологические компании тихо интегрируют китайские модели ИИ с открытым исходным кодом в производственную инфраструктуру. Поскольку стоимость ведущих американских модельных сервисов продолжает расти, такие компании, как Coinbase, начинают использовать китайские модели с открытым исходным кодом в качестве опции по умолчанию, чтобы значительно сократить расходы на ИИ, не подавляя объем использования.

Генеральный директор Coinbase Брайан Армстронг в пятницу вечером на платформе X сообщил, что компания установила недавно выпущенные GLM 5.2 от Zhipu и Kimi 2.7 от Beijing Moon's Dark Side в качестве моделей по умолчанию для инженеров через внутренний LLM-шлюз. Армстронг отметил, что благодаря сочетанию оптимизации маршрутизации и улучшений кэширования расходы Coinbase на ИИ сократились «почти вдвое», в то время как объем использования токенов продолжает расти экспоненциально.

Преимущество в стоимости китайских моделей с открытым исходным кодом становится очевидным

В своем сообщении Армстронг прямо указал, что 91% инженеров никогда не достигли исходного лимита использования, поэтому Coinbase не стала снижать лимит или добавлять уведомления о расходах, а вместо этого перешла на «более дешевые модели по умолчанию».

GLM 5.2 от Zhipu и Kimi 2.7 от Beijing Moon's Dark Side — обе модели с открытым весом. Армстронг сообщил, что эти модели используются в стандартных задачах, а для задач, требующих сложного планирования, инженеры могут выбирать передовые модели. Его логика: использование топ-моделей на исполнительном уровне часто является «излишним».

На этапе проверки кода применяется многомодельная параллельная стратегия, позволяющая разным моделям взаимно проверять выходные результаты для поддержания стандартов качества.

Трехуровневая реструктуризация инфраструктуры для сокращения затрат

Армстронг перечислил три ключевых метода.

Первый — интеллектуальная маршрутизация: в пользовательском фреймворке планирования система предварительно обрабатывает подсказки, объединяя коэффициент попадания в кэш и ценообразование моделей, автоматически распределяя задачи по наиболее подходящим и экономичным моделям. Он отметил, что конечная цель — чтобы выбор модели выполнял ИИ, а не человек.

Второй — активное кэширование: Coinbase требует, чтобы все запросы были осведомлены о кэше, стараясь максимально повторно использовать существующий кэш. Например, в LibraChat после правильной реализации механизма кэширования коэффициент попадания в кэш вырос с 5% до 60%.

Третий — оптимизация контекста: Армстронг рекомендует открывать новый сеанс при переключении задач, сужать контекст файлов и отключать неиспользуемые инструменты. Он подчеркивает, что цель — не уменьшить общий объем используемых токенов, а сократить «растрачиваемые токены».

Эффективность превыше подавления использования

Армстронг охарактеризовал это сокращение затрат как предварительное условие для расширения масштабов внедрения ИИ, а не как ограничение. Он сообщил, что инженеры по-прежнему могут свободно использовать любое количество токенов и любые модели, но компания визуализировала данные об использовании и связала его с бизнес-показателями — «чем больше тратите, тем большего влияния мы ожидаем».

Он не раскрыл конкретные абсолютные цифры расходов. Однако, судя по структуре, при экспоненциальном росте использования удалось сократить расходы почти вдвое, что означает, что Coinbase в определенной степени разорвала связь между потреблением и затратами.

Вывод Армстронга: эта методология универсальна, и любая компания может ее применить, чтобы устойчиво расширять масштабы использования ИИ, не превращая затраты в потолок.