Операция Армстронга по снижению затрат и повышению эффективности действительно жёсткая: коэффициент попадания в кэш вырос с 5% до 60%, расходы на ИИ сократились вдвое, а токен продолжает расти — стоит изучить.

Armstrong рассказывает о подходах к снижению затрат и повышению эффективности на фоне резкого роста использования токенов: без ограничений, за счет оптимизации моделей по умолчанию, интеллектуальной маршрутизации и стратегий кэширования для контроля расходов. Используются модели с открытыми весами, такие как GLM 5.2, Kimi 2.7, вместо дорогих универсальных моделей, маршрутизация по задачам, предварительное кэширование и управление сессиями снижают потери токенов, процент попадания в кэш вырос с 5% до 60%. В результате расходы на ИИ сократились почти вдвое, при этом использование токенов продолжает расти.