Открытый проект OpenSquilla: интеллектуальный маршрутизация и локальный поиск, значительно снижающие стоимость использования LLM

AIMPACT сообщение, 14 мая (UTC+8), проект с открытым исходным кодом OpenSquilla предложил решение проблемы чрезмерного расхода токенов при использовании больших языковых моделей, объединяя интеллектуальную маршрутизацию моделей и локальный поиск по векторам. Система может автоматически определять сложность задачи, направляя простые вопросы на дешевую модель, а сложные — на более мощную модель, при этом маршрутизация осуществляется локально, не расходуя токены. Благодаря механизму инкрементальной отправки и кешированию, фактический объем переданных токенов снизился более чем на 90%. Его система памяти автоматически отбирает и сжимает ключевую информацию, когда контекст заполняется, поддерживая гибкий поиск. Проект также обладает функциями статистики затрат, безопасной песочницы, поддержки однокнопочного переноса OpenClaw и планировщика задач, что значительно повышает эффективность и экономичность использования. (Источник: AiHot)