Executar grandes modelos localmente finalmente não precisa mais depender da nuvem, compressão de 5 vezes mantendo a qualidade, a abertura do TurboQuant é realmente uma arma para os desenvolvedores de dispositivos de borda.

Tether AI anuncia a abertura do código da versão de produção do TurboQuant e sua integração ao SDK QVAC 0.12.0. TurboQuant é baseado no algoritmo de compressão de memória do Google Research, permitindo que o cache de KV de tempo de execução de IA seja comprimido até 5 vezes, com qualidade de saída próxima à não comprimida. Essa tecnologia permite que laptops, celulares e dispositivos de borda processem diálogos mais longos e arquivos maiores sem precisar da nuvem. Este lançamento inclui uma linha de produção completa de quantização, adaptador de estrutura de inferência e documentação de desenvolvimento, voltados para desenvolvedores e startups em hardware de consumo, dispositivos de borda e redes ponto a ponto.