Tether AI оголосила про інтеграцію відкритого коду TurboQuant у SDK QVAC 0.12.0. TurboQuant спочатку був запропонований Google Research і може стиснути пам’ять кешу KV, необхідну для роботи великої моделі, до 5 разів, що дозволяє запускати довший контекст, більші документи та довші діалоги на локальних пристроях. Tether заявила, що ця технологія буде застосовуватися до ноутбуків, смартфонів, краєвих пристроїв та децентралізованих AI мереж, і стане частиною її стратегії просування локалізації та децентралізації AI.

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 13
  • 2
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
ReflectionsOnTheStreetCorner
· 4год тому
Якщо при цьому зменшенні в 5 разів зберігається точність, то ця технологічна лінія, ймовірно, незабаром буде підтримана основними фреймворками.
Переглянути оригіналвідповісти на0
LeverageLatte
· 4год тому
Мобільний довгий документальний діалог нарешті більше не потребує передачі конфіденційних даних у хмару, прихильники приватності радіють
Переглянути оригіналвідповісти на0
MirrorBallReflection
· 4год тому
Чотириразове стиснення означає, що мій старий ноутбук також зможе локально запускати модель 7B? Чекаю на QVAC 0.12.0
Переглянути оригіналвідповісти на0
GateUser-a9315d81
· 4год тому
Кеш KV стискається у 5 разів, скільки зросте затримка обчислень? Чи є бенчмарк?
Переглянути оригіналвідповісти на0
GateUser-6857a9c9
· 4год тому
Децентралізована мережа штучного інтелекту потребує саме такої крайової оптимізації, що зменшує навантаження на пропускну здатність і зберігання.
Переглянути оригіналвідповісти на0
GateUser-665eb149
· 4год тому
База Google Research + впровадження Tether — ця комбінація досить цікава
Переглянути оригіналвідповісти на0
ContrarianIndicatorBonsai
· 4год тому
Нарешті можна запускати довгий контекст на телефоні, TurboQuant дійсно має класний коефіцієнт стиснення
Переглянути оригіналвідповісти на0
PerpetualKing
· 4год тому
Просто нападай 👊
Переглянути оригіналвідповісти на0
PerpetualKing
· 4год тому
Просто нападай 👊
Переглянути оригіналвідповісти на0
PerpetualKing
· 4год тому
Просто нападай 👊
Переглянути оригіналвідповісти на0
Дізнатися більше
  • Закріплено