Coinbase вміло грає на зниженні витрат та підвищенні ефективності: використовує відкриті моделі, розумну маршрутизацію, підвищує коефіцієнт попередження кешу з 5% до 60%, підручниковий приклад для AI інфраструктури.

Повідомлення CoinMarketCap, генеральний директор Coinbase Браян Армстронг написав на платформі X, що Coinbase оптимізував налаштування за замовчуванням, маршрутизацію та стратегії кешування, зменшивши витрати на ШІ майже на 50% при постійному зростанні використання токенів. Конкретні заходи включають: перемикання моделі за замовчуванням на відкриті вагові моделі, такі як GLM 5.2 і Kimi 2.7; 91% співробітників раніше ніколи не досягали ліміту використання; попередня обробка підказок у власній системі та автоматична маршрутизація до найбільш підходящої моделі, що дозволяє диференційовано обробляти завдання планування та виконання; підвищення частоти попадань у кеш: частота попадань у кеш LibreChat зросла з 5% до 60%; оптимізація управління контекстом: відкриття нової сесії при перемиканні завдань і звуження контексту файлів; підвищення видимості витрат: інженери можуть вільно обирати моделі, але повинні нести відповідні очікувані наслідки.