Tether AI anuncia que integrará la implementación de código abierto TurboQuant en el SDK QVAC 0.12.0. TurboQuant, inicialmente propuesto por Google Research, puede comprimir la memoria de caché KV necesaria para ejecutar grandes modelos hasta 5 veces, permitiendo así un contexto más largo, documentos más grandes y conversaciones de mayor duración en dispositivos locales. Tether afirma que esta tecnología será aplicable a laptops, teléfonos móviles, dispositivos edge y redes de IA descentralizadas, y formará parte de su estrategia para promover la IA local y descentralizada.

Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • 13
  • 2
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
ReflectionsOnTheStreetCorner
· hace4h
Si se puede mantener la precisión comprimiendo 5 veces, es probable que esta ruta tecnológica sea seguida rápidamente por los marcos principales
Ver originalResponder0
LeverageLatte
· hace4h
¡Por fin ya no es necesario subir datos sensibles a la nube en conversaciones largas desde el móvil, los defensores de la privacidad están eufóricos!
Ver originalResponder0
MirrorBallReflection
· hace4h
¿La compresión de 5 veces significa que mi antiguo portátil también podrá ejecutar localmente el modelo 7B? Espero con ansias QVAC 0.12.0
Ver originalResponder0
GateUser-a9315d81
· hace4h
¿La compresión de la caché KV en 5 veces, cuánto aumentará la latencia de inferencia? ¿Hay alguna referencia de rendimiento?
Ver originalResponder0
GateUser-6857a9c9
· hace4h
La red de IA descentralizada necesita este tipo de optimización en el borde, reduciendo tanto el ancho de banda como el almacenamiento.
Ver originalResponder0
GateUser-665eb149
· hace4h
La base de Google Research + la implementación de Tether, esta combinación es bastante interesante
Ver originalResponder0
ContrarianIndicatorBonsai
· hace4h
Finalmente se puede ejecutar contexto largo en el teléfono, la relación de compresión de TurboQuant realmente es excelente
Ver originalResponder0
PerpetualKing
· hace4h
Solo hay que lanzarse 👊
Ver originalResponder0
PerpetualKing
· hace4h
Solo hay que lanzarse 👊
Ver originalResponder0
PerpetualKing
· hace4h
Solo hay que lanzarse 👊
Ver originalResponder0
Ver más
  • Fijado