Proyecto de código abierto OpenSquilla: enrutamiento inteligente y búsqueda local, reducción significativa del costo de uso de LLM

robot
Generación de resúmenes en curso

AIMPACT mensaje, 14 de mayo (UTC+8), el proyecto de código abierto OpenSquilla propone una solución para el problema del alto consumo de tokens en aplicaciones de modelos de lenguaje grande, combinando enrutamiento inteligente de modelos y búsqueda local por vectores. El sistema puede determinar automáticamente la complejidad de la tarea, enrutando problemas simples a modelos económicos y asignando tareas complejas a modelos más potentes, y la decisión de enrutamiento se realiza localmente, sin consumir tokens. A través de mecanismos de envío incremental y cacheo, la transmisión real de tokens se reduce en más del 90%. Su sistema de memoria puede filtrar y comprimir automáticamente información clave cuando el contexto está lleno, soportando búsquedas híbridas. El proyecto también cuenta con funciones de estadística de costos, sandbox de seguridad, soporte para migración con OpenClaw con un clic y tareas programadas, mejorando significativamente la eficiencia y economía de uso. (Fuente: AiHot)

Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado