A Ramp Labs apresenta uma nova solução para a partilha de memória entre múltiplos agentes, reduzindo o consumo de tokens em até 65%
Os resultados de investigação «Latent Briefing» publicados pela Ramp Labs, ao comprimirem a cache KV de modelos de linguagem, permitem uma partilha de memória eficiente em sistemas multiagente, reduzindo o consumo de Token e aumentando a exactidão. Nos testes do LongBench v2, este método conseguiu reduzir o consumo de Token do modelo Worker em 65% e aumentar a exactidão global em cerca de 3 pontos percentuais, com um tempo de compressão de apenas 1,7 segundos. Esta tecnologia tem um desempenho excelente em diferentes cenários de documentos.
GateNews·04-11 05:14
