Projet open source OpenSquilla : routage intelligent et recherche locale, réduisant considérablement le coût d'utilisation des LLM

AIMPACT message, le 14 mai (UTC+8), le projet open source OpenSquilla propose une solution combinant un routage intelligent des modèles et une recherche vectorielle locale pour résoudre le problème de consommation excessive de tokens dans les applications de grands modèles linguistiques. Le système peut automatiquement juger de la complexité des tâches, routant les questions simples vers des modèles peu coûteux, et attribuant les tâches complexes à des modèles plus puissants, avec une prise de décision de routage effectuée localement, sans consommer de tokens. Grâce à un mécanisme d’envoi incrémental et de cache, la transmission effective de tokens a été réduite de plus de 90 %. Son système de mémoire peut automatiquement filtrer et compresser les informations clés lorsque le contexte est plein, supportant la recherche hybride. Le projet dispose également de fonctionnalités telles que le suivi des coûts, un bac à sable sécurisé, la migration en un clic avec OpenClaw, et des tâches planifiées, améliorant considérablement l’efficacité et l’économie d’utilisation. (Source : AiHot)