Ramp Labs пропонує нову схему спільного збереження пам’яті для багатьох агентів, що зменшує споживання токенів до 65%

ME Новини повідомляють, 11 квітня (UTC+8), компанія з інфраструктури штучного інтелекту Ramp Labs опублікувала дослідження «Latent Briefing», яке забезпечує ефективне спільне використання пам’яті між мультиагентними системами шляхом безпосереднього стиснення кешу KV великих моделей, значно знижуючи споживання токенів без втрати точності. У провідних архітектурах мультиагентів координатор (Orchestrator) розбиває завдання і багаторазово викликає модель виконавця (Worker), і з розширенням ланцюга обчислень кількість токенів зростає експоненційно. Основна ідея Latent Briefing полягає в тому, щоб за допомогою механізму уваги ідентифікувати дійсно важливі частини контексту, безпосередньо відкидаючи зайву інформацію на рівні представлення, а не покладаючись на повільні підсумки LLM або нестабільний RAG пошук. У тесті LongBench v2 цей метод показав високі результати: споживання токенів моделлю виконавця знизилося на 65%, медіальне збереження токенів для документів середньої довжини (від 32k до 100k) склало 49%, загальна точність підвищилася приблизно на 3 відсоткові пункти порівняно з базовою лінією, а додатковий час на кожне стиснення становив лише близько 1,7 секунди, що швидше за початковий алгоритм приблизно у 20 разів. Експерименти проводилися з Claude Sonnet 4 як координатором і Qwen3-14B як моделлю виконавця, охоплюючи сценарії з академічними статтями, юридичними документами, романами та урядовими звітами. Дослідження також виявило, що оптимальний поріг стиснення залежить від складності завдання і довжини документа — складні задачі краще піддаються агресивному стисненню для фільтрації спекулятивного шуму, тоді як довгі документи краще стискати легше, щоб зберегти розсіяні ключові дані. (Джерело: BlockBeats)