Открытый проект OpenSquilla: интеллектуальный маршрутизация и локальный поиск, значительно снижающие стоимость использования LLM

AIMPACT сообщение, 14 мая (UTC+8), проект с открытым исходным кодом OpenSquilla предложил решение проблемы чрезмерного расхода токенов при использовании больших языковых моделей, объединяя интеллектуальную маршрутизацию моделей и локальный поиск по векторам. Система может автоматически определять сложность задачи, направляя простые вопросы на дешевую модель, а сложные — на более мощную модель, при этом маршрутизация осуществляется локально, не расходуя токены. Благодаря механизму инкрементальной отправки и кеширования, фактический объем переданных токенов снизился более чем на 90%. Его система памяти способна автоматически отбирать и сжимать ключевую информацию, когда контекст заполняется, поддерживая гибридный поиск. Проект также обладает функциями учета затрат, безопасной песочницы, поддержки однокнопочного переноса OpenClaw и планировщика задач, что значительно повышает эффективность и экономичность использования. (Источник: AiHot)