Coinbase скоротила витрати на ШІ майже вдвічі, намагаючись зробити моделі з відкритою вагою, такі як GLM 5.2, Kimi 2.7, стандартними за замовчуванням.

BlockBeats повідомляє, 27 червня, CEO Coinbase Браян Армстронг написав, що для того, щоб підтримувати стабільність витрат на ШІ при експоненціальному зростанні використання токенів, ключ не в тому, щоб встановлювати тертя використання або нагадування про витрати, а в кращих моделях за замовчуванням, маршрутизації та кешуванні. Coinbase через LLM-шлюз намагається використовувати за замовчуванням моделі з відкритою вагою, такі як GLM 5.2, Kimi 2.7, при цьому все ще заохочуючи інженерів вибирати відповідну модель залежно від завдання. Він зазначив, що 91% співробітників ніколи не досягали ліміту використання, тому компанія не знижувала ліміт і не додавала нагадування, а перейшла на дешевші моделі за замовчуванням.

Щодо маршрутизації моделей, Coinbase попередньо обробляє промпти в індивідуальних процесах і на основі частоти попадань у кеш та ціноутворення моделей направляє завдання до найбільш підходящої моделі. Наприклад, на етапі планування може знадобитися передова модель, але на етапі виконання використання передової моделі може бути надмірним. Він вважає, що в майбутньому моделі не повинен обирати людина, ШІ може автоматично виконувати це завдання.

Армстронг також зазначив, що промахи кешу є найлегшим способом підвищення витрат. Запити Coinbase мають здатність до усвідомлення кешу, щоб якомога більше використовувати гарячий кеш. Наприклад, після правильної реалізації кешування частота попадань у кеш LibreChat зросла з 5% до 60%. Крім того, Coinbase також вимагає від інженерів підтримувати контекст стислим, включаючи відкриття нових сесій при зміні завдань, звуження файлового контексту, відключення невикористовуваних інструментів тощо. Мета — не придушувати використання ШІ, а створити інфраструктуру, здатну підтримувати експоненціальне зростання. Завдяки вищезазначеним практикам Coinbase скоротила витрати на ШІ майже вдвічі, при цьому використання токенів продовжує зростати.