Projeto de código aberto OpenSquilla: roteamento inteligente e pesquisa local, reduzindo significativamente os custos de uso de LLM

AIMPACT mensagem, 14 de maio (UTC+8), o projeto de código aberto OpenSquilla propôs uma solução para o problema de consumo excessivo de tokens em aplicações de grandes modelos de linguagem, combinando roteamento inteligente de modelos com busca vetorial local. O sistema consegue determinar automaticamente a complexidade da tarefa, roteando questões simples para modelos mais baratos, enquanto tarefas complexas são atribuídas a modelos mais potentes, e a decisão de roteamento é feita localmente, sem consumir tokens. Através de mecanismos de envio incremental e cache, a transmissão real de tokens foi reduzida em mais de 90%. Seu sistema de memória consegue automaticamente filtrar e comprimir informações-chave quando o contexto está cheio, suportando busca híbrida. O projeto também possui recursos de estatísticas de custo, sandbox de segurança, suporte à migração com um clique do OpenClaw e tarefas agendadas, melhorando significativamente a eficiência de uso e a economia. (Fonte: AiHot)