DERNIÈRE HEURE : Google a dévoilé TurboQuant, une technique qui vise à compresser la mémoire de travail des modèles linguistiques sans perte.

Si elle atteint la production comme le suggère la recherche, cela pourrait atténuer l'un des principaux goulots d'étranglement de l'IA actuelle : le coût et la rareté de la mémoire nécessaire pour gérer de longs contextes, des agents et des charges de travail d'inférence massives.
TurboQuant vise à réduire l'utilisation du cache KV jusqu'à six fois et à accélérer le traitement sur puce jusqu'à huit fois sans perte de données.