Tether AI annonce l'intégration de TurboQuant open source dans le SDK QVAC 0.12.0. TurboQuant, initialement proposé par Google Research, peut compresser la mémoire cache KV nécessaire au fonctionnement des grands modèles jusqu'à 5 fois, permettant ainsi un contexte plus long, des documents plus volumineux et des dialogues plus longs en local. Tether indique que cette technologie sera adaptée aux ordinateurs portables, téléphones, appareils en périphérie et réseaux d'IA décentralisés, en tant que partie de sa stratégie de promotion de l'IA localisée et décentralisée.

Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé