オープンソースプロジェクトOpenSquilla：インテリジェントルーティングとローカル検索、LLMの使用コストを大幅に削減

AIMPACT メッセージ、5 月 14 日（UTC+8）、オープンソースプロジェクトOpenSquillaは、大規模言語モデルのアプリケーションにおけるトークン消費過多の問題に対し、インテリジェントなモデルルーティングとローカルベクトル検索を組み合わせた解決策を提案しました。システムはタスクの複雑さを自動的に判断し、簡単な問題を低コストのモデルにルーティングし、複雑なタスクはより強力なモデルに割り当てます。ルーティングの決定はローカルで行われ、トークンを消費しません。増分送信とキャッシュヒットメカニズムにより、実際のトークン伝送量は90%以上削減されました。その記憶システムは、コンテキストが満杯になると自動的に重要な情報を選別・圧縮し、ハイブリッド検索をサポートします。プロジェクトにはコスト統計、安全サンドボックス、OpenClawへのワンクリック移行、定期タスクなどの機能も備え、使用効率と経済性を大幅に向上させています。（出典：AiHot）