Ramp Labs пропонує нову схему спільного збереження пам’яті для багатьох агентів, що зменшує споживання токенів до 65%

ME Новини повідомляють, 11 квітня (UTC+8), компанія з інфраструктури штучного інтелекту Ramp Labs опублікувала дослідження «Latent Briefing», яке забезпечує ефективне спільне використання пам’яті між багатьма агентами шляхом безпосереднього стиснення кешу KV великих моделей, значно зменшуючи споживання токенів без втрати точності. У провідних архітектурах багатьох агентів координатор (Orchestrator) розбиває завдання і багаторазово викликає модель виконавця (Worker), і з розширенням ланцюга обчислень кількість токенів зростає експоненційно. Основна ідея Latent Briefing полягає в тому, щоб за допомогою механізму уваги ідентифікувати дійсно важливі частини контексту, безпосередньо відкидаючи зайву інформацію на рівні представлення, а не покладаючись на повільні підсумки LLM або нестабільний RAG пошук. У тесті LongBench v2 цей метод показав високі результати: споживання токенів моделлю виконавця зменшилось на 65%, медіальне збереження токенів для документів середньої довжини (від 32k до 100k) склало 49%, загальна точність підвищилась приблизно на 3 відсоткові пункти порівняно з базовим рівнем, а додатковий час на кожне стиснення склав лише близько 1,7 секунди, що швидше за початковий алгоритм приблизно у 20 разів. Експерименти проводилися з Claude Sonnet 4 як координатором і Qwen3-14B як моделлю виконавця, охоплюючи сценарії з академічними статтями, юридичними документами, романами та урядовими звітами. Дослідження також виявило, що оптимальний поріг стиснення залежить від складності завдання і довжини документа — складні задачі краще піддаються радикальному стисненню для фільтрації спекулятивного шуму, а довгі документи — легкому стисненню для збереження розсіяної ключової інформації. (Джерело: BlockBeats)