Открытые модели + интеллектуальная маршрутизация + кэширование (три основных приема): затраты Coinbase на ИИ сокращены вдвое. Brian Armstrong поделился этим, и это стоит скопировать.

Сообщение Bixin News: Генеральный директор Coinbase Брайан Армстронг опубликовал статью, в которой поделился практическим опытом поддержания стабильных расходов на ИИ на фоне экспоненциального роста использования токенов. Он отметил, что компания не применяла такие ограничения, как установление лимитов использования, а вместо этого добилась снижения затрат и повышения эффективности за счет оптимизации моделей по умолчанию, интеллектуальной маршрутизации и стратегий кеширования: в части моделей по умолчанию были внедрены открытые весовые модели, такие как GLM 5.2 и Kimi 2.7, для замены дорогих универсальных моделей; с помощью механизма маршрутизации модели подбираются в соответствии с требованиями задач; предварительная обработка кеша и управление сеансами задач сокращают потери токенов (коэффициент попадания в кеш вырос с 5% до 60%). Благодаря этой серии оптимизаций расходы Coinbase на ИИ почти вдвое сократились, при этом использование токенов продолжает расти.