Локальне запускання великих моделей нарешті не залежить від настрою хмари, 5-кратне стиснення з збереженням якості, TurboQuant — ця хвиля відкритого коду справді дає рушницю розробникам краєвих пристроїв

Tether AI оголосила про відкритий код виробничої версії TurboQuant та інтеграцію з SDK QVAC 0.12.0. TurboQuant базується на алгоритмі стиснення пам’яті від Google Research, що дозволяє стискати кеш KV у режимі AI-рантайму до 5 разів, при цьому якість виводу залишається близькою до несжатого. Ця технологія дозволяє ноутбукам, мобільним телефонам та краєвим пристроям обробляти довші діалоги та більші файли без використання хмари. Цей реліз включає повну лінійку квантових процесів, адаптер для інференційної рамки та документацію для розробників, орієнтовану на споживчу апаратуру, краєві пристрої та розробників і стартапи, що працюють у точках точкових мереж.