Что произошло

Tether Data представила QVAC Fabric LLM, ориентированную на край Large Language Model (LLM) среду выполнения вывода, объединенную с обобщенной низкоранговой адаптацией LLM (LoRA) для тонкой настройки. Эта технология поддерживает современные AI модели, эффективно работающие на различных платформах, включая GPUs, смартфоны, ноутбуки и серверы. Эта структура позволяет выполнять обработку AI на устройстве, разработанную для оптимизации использования ресурсов и улучшения скорости вывода для приложений, требующих возможностей LLM.

Контекст
Выпуск QVAC Fabric LLM соответствует более широкой тенденции в отрасли, подчеркивающей вычисления ИИ на краю — когда данные обрабатываются локально на устройствах пользователей вместо централизованных облачных серверов — для повышения конфиденциальности, снижения задержек и экономии пропускной способности. LoRA тонкая настройка — это техника, позволяющая моделям адаптироваться к новым задачам с меньшими вычислительными ресурсами, обновляя меньший подмножество параметров, что делает ее практичной для широкого спектра устройств. Tether Data, компания