Ця операція Armstrong зі зниження витрат і підвищення ефективності дійсно потужна: частота влучень у кеш зросла з 5% до 60%, витрати на ШІ скоротилися вдвічі, а токен все ще зростає, варто дослідити.

Armstrong ділиться методами зниження витрат та підвищення ефективності на фоні різкого зростання використання токенів: без обмежень, через оптимізацію моделі за замовчуванням, інтелектуальну маршрутизацію та стратегії кешування для контролю витрат. Використання відкритих вагових моделей, таких як GLM 5.2, Kimi 2.7, замість дорогих універсальних моделей, маршрутизація відповідно до завдань, кешування попередньої обробки та управління сеансами зменшують витрати токенів, рівень влучень зріс з 5% до 60%. У результаті витрати на ШІ майже вдвічі зменшилися, а використання токенів продовжує зростати.