Projeto de código aberto OpenSquilla: roteamento inteligente e pesquisa local, reduzindo significativamente os custos de uso de LLM

AIMPACT mensagem, 14 de maio (UTC+8), o projeto de código aberto OpenSquilla propôs uma solução para o problema de consumo excessivo de tokens em aplicações de grandes modelos de linguagem, combinando roteamento inteligente de modelos e busca vetorial local. O sistema consegue determinar automaticamente a complexidade da tarefa, roteando questões simples para modelos mais baratos e atribuindo tarefas complexas a modelos mais avançados, com a decisão de roteamento sendo feita localmente, sem consumir tokens. Através de envio incremental e mecanismo de cache, a transmissão real de tokens foi reduzida em mais de 90%. Seu sistema de memória consegue automaticamente filtrar e comprimir informações-chave quando o contexto está cheio, suportando busca híbrida. O projeto também possui recursos de estatísticas de custo, sandbox de segurança, suporte à migração com um clique do OpenClaw e tarefas agendadas, aumentando significativamente a eficiência e a economia de uso. (Fonte: AiHot)