Coinbase: скоротила витрати на ШІ майже на 50%, намагається за замовчуванням використовувати модель відкритої ваги.

Новина від TechFlow, 27 червня. Генеральний директор Coinbase Браян Армстронг опублікував повідомлення про останні досягнення компанії в оптимізації витрат на ШІ.

Армстронг зазначив, що зі зростанням використання ШІ та споживання токенів ключ до контролю витрат полягає не в обмеженні використання співробітниками або частому надсиланні нагадувань про бюджет, а в оптимізації вибору моделей за замовчуванням, механізму маршрутизації завдань і стратегії кешування.

Він розповів, що Coinbase через внутрішній LLM-шлюз намагається використовувати моделі з відкритою вагою, такі як GLM 5.2, Kimi 2.7, як варіант за замовчуванням, водночас дозволяючи інженерам вибирати інші моделі відповідно до потреб конкретних завдань. Дані показують, що 91% співробітників компанії ніколи не досягали ліміту використання ШІ, тому Coinbase не обмежував квоти, а підвищив загальну ефективність за допомогою дешевших модельних рішень.

Що стосується маршрутизації моделей, Coinbase попередньо обробляє підказки та автоматично призначає завдання найбільш підходящій моделі на основі частоти потраплянь у кеш і ціноутворення різних моделей. Армстронг вважає, що складні завдання, такі як планування та міркування, можуть потребувати підтримки передових моделей, але виконавчі завдання не обов'язково вимагають виклику дорожчих моделей. У майбутньому вибір моделі має більше автоматизуватися ШІ, а не покладатися на людські рішення.

Крім того, він зазначив, що частота потраплянь у кеш є одним із важливих факторів, що впливають на витрати на ШІ. Coinbase включив механізм усвідомлення кешування в процес запитів, щоб підвищити коефіцієнт повторного використання історичних результатів. Наприклад, у LibreChat після оптимізації кешування частота потраплянь зросла з 5% до 60%.

Армстронг також повідомив, що компанія вимагає від інженерів максимально спрощувати контекст, включаючи відкриття нових сесій при перемиканні завдань, звуження контексту файлів і закриття невикористовуваних інструментів, щоб зменшити непотрібне споживання токенів.

За його словами, завдяки вищезазначеним заходам Coinbase вдалося скоротити витрати на ШІ майже на 50%, при цьому використання токенів продовжує зростати.