Відкритий проект OpenSquilla: розумне маршрутизування та локальний пошук, значно знижуючи витрати на використання LLM

AIMPACT повідомлення, 14 травня (UTC+8), відкритий проект OpenSquilla запропонував рішення для проблеми надмірного споживання токенів у застосуваннях великих мовних моделей, яке поєднує розумне маршрутизацію моделей та локальний пошук за вектором. Система може автоматично визначати складність завдання, маршрутизуючи прості питання до дешевших моделей, а складні — до більш потужних моделей, при цьому рішення маршрутизації виконується локально, не витрачаючи токени. За допомогою механізмів інкрементальної передачі та кешування, фактичне передавання токенів зменшилось більш ніж на 90%. Її система пам’яті може автоматично відфільтровувати та стискати ключову інформацію, коли контекст заповнений, підтримуючи гібридний пошук. Проект також має функції статистики витрат, безпечного пісочниці, підтримки одноразового міграції OpenClaw та планувальника завдань, що значно підвищує ефективність та економічність використання. (Джерело: AiHot)