Coinbase: сократил расходы на ИИ почти на 50%, пытается по умолчанию использовать модели с открытыми весами

深潮 TechFlow сообщает, что 27 июня генеральный директор Coinbase Брайан Армстронг опубликовал статью, в которой рассказал о последних достижениях компании в области оптимизации затрат на ИИ.

Армстронг отметил, что по мере роста использования ИИ и потребления токенов ключ к контролю затрат заключается не в ограничении использования сотрудниками или частых напоминаниях о бюджете, а в оптимизации выбора моделей по умолчанию, механизмов маршрутизации задач и стратегий кэширования.

Он сообщил, что Coinbase через внутренний LLM-шлюз пробует использовать модели с открытыми весами, такие как GLM 5.2, Kimi 2.7, в качестве вариантов по умолчанию, при этом инженеры по-прежнему могут выбирать другие модели в соответствии с потребностями конкретных задач. Данные показывают, что 91% сотрудников компании никогда не достигали лимита использования ИИ, поэтому Coinbase не стал ужесточать квоты, а повысил общую эффективность за счет более дешевых моделей.

Что касается маршрутизации моделей, Coinbase предварительно обрабатывает подсказки и, с учетом коэффициента попадания в кэш и ценообразования различных моделей, автоматически назначает задачу наиболее подходящей модели. Армстронг считает, что сложные задачи, такие как планирование и рассуждение, могут требовать поддержки передовых моделей, но задачи, связанные с выполнением, не обязательно требуют использования более дорогих моделей. В будущем выбор модели должен больше автоматизироваться ИИ, а не полагаться на ручное принятие решений.

Кроме того, он указал, что коэффициент попадания в кэш является одним из важных факторов, влияющих на затраты на ИИ. Coinbase внедрил механизм осведомленности о кэше в процесс запросов, чтобы повысить частоту повторного использования исторических результатов. Например, в случае с LibreChat после оптимизации стратегии кэширования коэффициент попадания в кэш вырос с 5% до 60%.

Армстронг также заявил, что компания требует от инженеров максимально сокращать контекст, включая открытие новых сессий при переключении задач, сужение контекста файлов и отключение неиспользуемых инструментов, чтобы уменьшить ненужное потребление токенов.

По его словам, благодаря вышеуказанным мерам Coinbase удалось сократить расходы на ИИ почти на 50%, при этом объем использования токенов продолжает расти.