Ramp Labs пропонує нову схему спільного збереження пам’яті для багатьох агентів, що зменшує споживання токенів до 65%

ME Новини повідомляють, 11 квітня (UTC+8), компанія з інфраструктури штучного інтелекту Ramp Labs опублікувала дослідницький звіт «Latent Briefing», у якому описується ефективне спільне використання пам’яті між багатьма агентами шляхом безпосереднього стиснення кешу KV великих моделей, що суттєво знижує споживання токенів без втрати точності. У провідних архітектурах багатьох агентів координатор (Orchestrator) розбиває завдання і багаторазово викликає модель виконавця (Worker), і з розширенням ланцюга обчислень кількість токенів зростає експоненційно. Основна ідея Latent Briefing полягає у використанні механізму уваги для ідентифікації дійсно важливих частин контексту, безпосередньо відкидаючи зайву інформацію на рівні представлення, а не покладаючись на повільні підсумки великих мовних моделей або нестабільний пошук RAG. У тесті LongBench v2 цей метод показав високі результати: споживання токенів моделлю виконавця зменшилось на 65%, медіальне збереження токенів для документів середньої довжини (від 32k до 100k) склало 49%, загальна точність підвищилась приблизно на 3 відсоткові пункти порівняно з базовим рівнем, а додатковий час на кожне стиснення склав лише близько 1,7 секунд, що швидше за початковий алгоритм приблизно у 20 разів. Експерименти проводилися з використанням Claude Sonnet 4 як координатора та Qwen3-14B як моделі виконавця, охоплюючи сценарії з академічними статтями, юридичними документами, романами та урядовими звітами. Дослідження також виявило, що оптимальний поріг стиснення залежить від складності завдання та довжини документа — складні задачі краще стискати радикально для фільтрації спекулятивного шуму, а довгі документи — легким стисненням для збереження розсіяної ключової інформації. (Джерело: BlockBeats)