Відкрита модель + інтелектуальна маршрутизація + кешування — три кити, завдяки яким Coinbase скоротив витрати на AI вдвічі, і досвідом Браяна Армстронга варто скористатися.

Повідомлення Bìjiè wǎng: генеральний директор Coinbase Браян Армстронг опублікував допис, поділившись практичним досвідом підтримки стабільних витрат на ШІ в умовах експоненціального зростання використання токенів. Він зазначив, що компанія не вдавалася до обмежувальних заходів, як-от встановлення верхньої межі використання, а натомість оптимізувала модель за замовчуванням, впровадила інтелектуальну маршрутизацію та стратегію кешування для зниження витрат і підвищення ефективності: у частині моделі за замовчуванням було впроваджено моделі з відкритою вагою, такі як GLM 5.2 та Kimi 2.7, для заміни дорогих універсальних моделей; за допомогою механізму маршрутизації моделі підбираються відповідно до вимог завдання; використання попередньої обробки кешу та управління сеансами завдань зменшує витрати токенів (рівень попадання в кеш зріс з 5% до 60%). Завдяки цій серії оптимізацій витрати Coinbase на ШІ майже скоротилися вдвічі, при цьому використання токенів продовжує зростати.