Hugging Face retweet turboquant-gpu ferramenta, afirmando oferecer compressão de cache KV de 5,02 vezes

robot
Geração de resumo em curso

ME News Notícias, 6 de abril (UTC+8), a Hugging Face retweetou recentemente uma mensagem publicada por anirudhbv_ce, anunciando o lançamento da ferramenta turboquant-gpu. A ferramenta afirma oferecer até 5,02 vezes de compressão de cache KV para qualquer GPU (incluindo RTX, H100, A100, B200). Segundo o artigo, suas características incluem: compatibilidade com a biblioteca Hugging Face Transformers; API extremamente simples, alegando que apenas 3 linhas de código são necessárias para compressão e geração; uso da tecnologia de compressão KV de fusão Lloyd-Max de 3 bits, e afirma alcançar uma similaridade cosseno de 0,98. O artigo opina que seu desempenho supera o do MXFP4 (compressão de 3,76 vezes) e de outro esquema não nomeado. (Fonte: InFoQ)

Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixar