Projeto de código aberto OpenSquilla: roteamento inteligente e busca local, reduzindo significativamente os custos de uso de LLM

robot
Geração do resumo em andamento
AIMPACT mensagem, 14 de maio (UTC+8), o projeto de código aberto OpenSquilla propôs uma solução para o problema de consumo excessivo de tokens em aplicações de grandes modelos de linguagem, combinando roteamento inteligente de modelos e busca vetorial local. O sistema consegue determinar automaticamente a complexidade da tarefa, roteando questões simples para modelos mais baratos, enquanto tarefas complexas são atribuídas a modelos mais poderosos, e a decisão de roteamento é feita localmente, sem consumir tokens. Através de envio incremental e mecanismo de cache, a transmissão real de tokens foi reduzida em mais de 90%. Seu sistema de memória consegue filtrar e comprimir automaticamente informações-chave quando o contexto está cheio, suportando busca híbrida. O projeto também possui recursos de estatísticas de custo, sandbox de segurança, suporte à migração com OpenClaw com um clique e tarefas agendadas, aumentando significativamente a eficiência e a economia de uso. (Fonte: AiHot)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado