Американские технологические компании незаметно переходят на китайские модели ИИ, Coinbase возглавляет использование GLM и Kimi.

Американские технологические компании незаметно внедряют китайские модели ИИ с открытым исходным кодом в свою производственную инфраструктуру. По мере того как стоимость услуг ведущих американских моделей продолжает расти, компании, такие как Coinbase, начинают использовать китайские открытые модели в качестве опции по умолчанию, чтобы значительно сократить расходы на ИИ, не подавляя объем использования.

В пятницу вечером генеральный директор Coinbase Брайан Армстронг написал в X, что компания установила недавно выпущенные GLM 5.2 от Zhipu и Kimi 2.7 от Beijing Moonshot AI в качестве моделей по умолчанию для инженеров через внутренний LLM-шлюз. Армстронг заявил, что после внедрения оптимизации маршрутизации и улучшения кэширования расходы Coinbase на ИИ сократились «почти вдвое», в то время как использование токенов продолжает экспоненциально расти.

Преимущество в стоимости китайских открытых моделей выходит на первый план

Армстронг четко указал в своем сообщении, что 91% инженеров никогда не достигали исходного лимита использования, поэтому Coinbase не стал снижать лимит или добавлять предупреждения о расходах, а перешел на «более дешевые модели по умолчанию».

GLM 5.2 от Zhipu и Kimi 2.7 от Beijing Moonshot AI — обе модели с открытыми весами. Армстронг отметил, что эти модели используются для обычных задач, в то время как для задач, требующих сложного планирования, инженеры по-прежнему могут выбирать передовые модели. Его логика такова: использование топ-моделей для выполнения задач часто является «стрельбой из пушки по воробьям».

При проверке кода применяется стратегия параллельного использования нескольких моделей, позволяющая им взаимно проверять результаты, чтобы поддерживать стандарты качества.

Трехуровневая реструктуризация инфраструктуры для снижения затрат

Армстронг перечислил три ключевых метода.

Первый — интеллектуальная маршрутизация: в пользовательском фреймворке планирования система предварительно обрабатывает промпты, учитывая коэффициент попадания в кэш и ценообразование моделей, и автоматически распределяет задачи по наиболее подходящим и экономичным моделям. Он заявил, что конечная цель — позволить ИИ, а не человеку, выбирать модели.

Второй — активное кэширование: Coinbase требует, чтобы все запросы были осведомлены о кэше и максимально использовали существующий кэш. Например, в LibreChat после правильного внедрения механизма кэширования коэффициент попадания в кэш вырос с 5% до 60%.

Третий — сокращение контекста: Армстронг рекомендует начинать новый сеанс при переключении задач, сужать контекст файлов и отключать неиспользуемые инструменты. Он подчеркнул, что цель — не уменьшить общее количество используемых токенов, а сократить количество «потраченных впустую токенов».

Эффективность в приоритете, а не подавление использования

Армстронг охарактеризовал это снижение затрат как предпосылку для масштабирования внедрения ИИ, а не как ограничение. Он отметил, что инженеры по-прежнему могут свободно использовать любое количество токенов и любые модели, но компания визуализировала данные об использовании и связала объем использования с бизнес-эффектом — «чем больше тратите, тем большего эффекта мы ожидаем».

Он не раскрыл конкретные абсолютные цифры расходов. Но с точки зрения структуры, одновременный экспоненциальный рост использования и почти двукратное сокращение расходов означает, что Coinbase в определенной степени отделил потребление от затрат.

Вывод Армстронга: эта методология универсальна и любая компания может использовать ее для устойчивого масштабирования использования ИИ, не делая стоимость потолком.

Предупреждение о рисках и отказ от ответственности

        Рынок подвержен рискам, инвестиции требуют осторожности. Данная статья не является индивидуальной инвестиционной рекомендацией и не учитывает конкретные инвестиционные цели, финансовое положение или потребности отдельных пользователей. Пользователям следует учитывать, соответствуют ли какие-либо мнения, взгляды или выводы в этой статье их конкретной ситуации. Инвестируя на основе этого, вы берете на себя ответственность.