Ramp Labs提出多智能體記憶共享新方案,Token消耗最高降低65%

robot
摘要生成中

ME News 消息,4 月 11 日(UTC+8),AI 基礎設施公司 Ramp Labs 發布研究成果「Latent Briefing」,通過直接壓縮大模型 KV 快取實現多智能體系統間的高效記憶共享,在不損失準確率的前提下大幅降低 Token 消耗。在主流多智能體架構中,編排者(Orchestrator)將任務拆解並反覆調用工作者(Worker)模型,隨著推理鏈路不斷延伸,Token 用量呈指數級膨脹。Latent Briefing 的核心思路是:借助注意力機制識別上下文中真正關鍵的部分,在表示層直接丟棄冗餘資訊,而非依賴速度慢的 LLM 摘要或穩定性差的 RAG 檢索。在 LongBench v2 基準測試中,該方法表現亮眼:Worker 模型 Token 消耗降低 65%,中等長度文件(32k 至 100k)的 Token 節省中位數達 49%,整體準確率較基線提升約 3 個百分點,而每次壓縮的額外耗時僅約 1.7 秒,較原始算法提速約 20 倍。實驗以 Claude Sonnet 4 作為編排者、Qwen3-14B 作為工作者模型,涵蓋學術論文、法律文書、小說及政府報告等多類文件場景。研究還發現,最優壓縮閾值因任務難度和文件長度而異——難題適合激進壓縮以過濾投機性推理噪聲,長文件則更適合輕度壓縮以保留分散的關鍵資訊。(來源:BlockBeats)

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 留言
  • 轉發
  • 分享
留言
請輸入留言內容
請輸入留言內容
暫無留言