Браян Армстронг: витрати Coinbase на ШІ майже скоротилися вдвічі, тоді як використання токенів продовжує зростати.

robot
Генерація анотацій у процесі
Як повідомляє Wu Shuo, CEO Coinbase Браян Армстронг опублікував повідомлення, в якому поділився практичним досвідом підтримки стабільних витрат на ШІ на тлі експоненційного зростання використання токенів. Армстронг зазначив, що компанія не вдавалася до таких обмежувальних заходів, як встановлення лімітів використання, а натомість досягла зниження витрат та підвищення ефективності шляхом оптимізації моделей за замовчуванням, розумної маршрутизації та стратегій кешування: щодо моделей за замовчуванням, були впроваджені моделі з відкритою вагою, такі як GLM 5.2 та Kimi 2.7, для заміни дорогих універсальних моделей; за допомогою механізму маршрутизації моделі підбираються відповідно до потреб завдання; використовується попередня обробка кешу та управління сеансами завдань для зменшення витрат токенів (коефіцієнт попадання в кеш зріс з 5% до 60%). Завдяки цій серії оптимізацій витрати Coinbase на ШІ майже вдвічі скоротилися, при цьому обсяг використання токенів продовжував зростати.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 5
  • 1
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
GateUser-d2b4d9c6
· 2год тому
Без обмежень + інтелектуальна маршрутизація, ця ідея варта того, щоб її скопіювати.
Переглянути оригіналвідповісти на0
HotAirBalloonCrossingMountains
· 2год тому
Зростання токенів, падіння витрат, ця операція Armstrong — підручник.
Переглянути оригіналвідповісти на0
GateUser-673fb6fa
· 2год тому
GLM 5.2 дійсно має відмінне співвідношення ціни та якості, ми теж переходимо.
Переглянути оригіналвідповісти на0
BerryColdWallet
· 2год тому
Кеш-хіт 5%→60% — це неймовірно, ось справжнє зниження витрат.
Переглянути оригіналвідповісти на0
GateUser-94818fd0
· 2год тому
Моделі з відкритою вагою тепер справді гарні, закриті великі компанії відчувають тиск.
Переглянути оригіналвідповісти на0
  • Закріплено