Звіт з CoinWorld, Ло Фулі оголосила на платформі X про постійне зниження цін на API для власної великої моделі MiMo-v2.5 та механізм зниження витрат за допомогою алгоритмічних оптимізацій. Вона повідомила, що після вирівнювання цін API з DeepSeek, високонавантажений інференційний двигун Xiaomi все ще може підтримувати баланс прибутків і збитків, причому зниження витрат здебільшого досягається за рахунок гібридної архітектури уваги та ієрархічної оптимізації кешу KV. Щоб зменшити вартість попадання кешу на 99%, інференційний фреймворк Xiaomi реалізував ієрархічну оптимізацію кешу KV для уваги з ковзним вікном (SWA), і виробничі випробування показали, що ця ієрархічна оптимізація збільшила обсяг кешованих токенів у 5 разів і зменшила вартість кешу на 80%. Ло Фулі зазначила, що низька вартість інференційних сервісів сприяє стимулюванню потреб у розумних кінцевих пристроях, і компанії, що розробляють великі моделі, повинні уникати сліпої цінової війни, шляхом спільного проектування алгоритмів і систем інференції на низькому рівні, щоб контролювати фактичні операційні витрати і тримати їх нижче за точку беззбитковості.

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

9 лайків

Нагородити
9
5
2
Поділіться

Прокоментувати

Додати коментар

ASolitaryRockBeforeTheVolcano

· 3год тому

MiMo цей зниження ціни справді жорстке, зменшення витрат на 99% звучить як науково-фантастичний фільм, але оптимізація SWA дійсно має дещо особливе