Ramp Labs пропонує нову схему спільного збереження пам’яті для багатьох агентів, при цьому споживання токенів зменшено до 65%

ME Новини повідомляють, 11 квітня (UTC+8), компанія з інфраструктури штучного інтелекту Ramp Labs опублікувала дослідження «Latent Briefing», яке забезпечує ефективне спільне використання пам’яті між багатьма агентами шляхом безпосереднього стиснення кешу KV великих моделей, значно зменшуючи споживання токенів без втрати точності. У провідних архітектурах багатьох агентів координатор (Orchestrator) розбиває завдання і багаторазово викликає модель виконавця (Worker), і з розширенням ланцюга обчислень кількість токенів зростає експоненційно. Основна ідея Latent Briefing полягає в тому, щоб за допомогою механізму уваги ідентифікувати дійсно важливі частини контексту, безпосередньо відкидаючи зайву інформацію на рівні представлення, а не покладаючись на повільне підсумовування великих мовних моделей або нестабільний пошук RAG. У тесті LongBench v2 цей метод показав високі результати: споживання токенів моделлю виконавця зменшилось на 65%, медіане збереження токенів для документів середньої довжини (від 32 тисяч до 100 тисяч) склало 49%, загальна точність підвищилась приблизно на 3 відсоткові пункти порівняно з базовим рівнем, а додатковий час на кожне стиснення склав лише близько 1,7 секунди, що швидше за початковий алгоритм приблизно у 20 разів. Експерименти проводилися з використанням Claude Sonnet 4 як координатора і Qwen3-14B як моделі виконавця, охоплюючи сценарії з академічними статтями, юридичними документами, романами та урядовими звітами. Дослідження також виявило, що оптимальний поріг стиснення залежить від складності завдання і довжини документа — складні задачі краще піддаються агресивному стисненню для фільтрації спекулятивного шуму, тоді як довгі документи краще стискати легше, щоб зберегти розсіяні ключові дані. (Джерело: BlockBeats)