Projet open source OpenSquilla : routage intelligent et recherche locale, réduisant considérablement le coût d'utilisation des LLM

AIMPACT message, le 14 mai (UTC+8), le projet open source OpenSquilla propose une solution combinant le routage intelligent des modèles et la recherche vectorielle locale pour résoudre le problème de consommation excessive de tokens dans l’application des grands modèles de langage. Le système peut automatiquement juger de la complexité de la tâche, routant les questions simples vers des modèles peu coûteux, et attribuant les tâches complexes à des modèles plus puissants, avec une prise de décision de routage effectuée localement, sans consommer de tokens. Grâce à la transmission incrémentielle et au mécanisme de cache, la transmission réelle de tokens a été réduite de plus de 90 %. Son système de mémoire peut automatiquement filtrer et compresser les informations clés lorsque le contexte est plein, supportant la recherche hybride. Le projet dispose également de fonctionnalités telles que le suivi des coûts, un bac à sable sécurisé, la migration en un clic avec OpenClaw, et des tâches planifiées, améliorant considérablement l’efficacité et l’économie d’utilisation. (Source : AiHot)