Локальный запуск больших моделей наконец-то избавил от необходимости смотреть на облако, 5-кратное сжатие при сохранении качества, TurboQuant — эта волна открытого исходного кода действительно дает разработчикам периферийных устройств оружие

Посмотреть Оригинал
MarsBitNews
Tether открывает исходный код TurboQuant, локальное AI-устройство KV-кэш с коэффициентом сжатия до 5 раз
Tether AI объявила об открытом исходном коде производственной версии TurboQuant и интеграции в SDK QVAC 0.12.0. TurboQuant основана на алгоритме сжатия памяти от Google Research, позволяющем сжимать кеш KV в режиме AI-исполнения до 5 раз, при этом качество вывода близко к несжатому. Эта технология позволяет ноутбукам, мобильным телефонам и периферийным устройствам обрабатывать более длинные диалоги и большие файлы без облака. В этот релиз входит полный конвейер количественного анализа, адаптер для фреймворка вывода и документация для разработчиков, предназначенная для потребительского оборудования, периферийных устройств и разработчиков на пиринговых сетях.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено