مشروع مفتوح المصدر OpenSquilla: التوجيه الذكي والبحث المحلي، يقلل بشكل كبير من تكلفة استخدام نماذج اللغة الكبيرة (LLM)

AIMPACT رسالة، 14 مايو (UTC+8)، اقترح مشروع المصدر المفتوح OpenSquilla حلاً لمشكلة استهلاك الرموز المميز بشكل مفرط في تطبيقات النماذج اللغوية الكبيرة، يجمع بين التوجيه الذكي للنموذج والبحث المحلي باستخدام المتجهات. يمكن للنظام الحكم تلقائيًا على تعقيد المهمة، وتوجيه المشكلات البسيطة إلى نماذج رخيصة، وتخصيص المهام المعقدة لنماذج أقوى، ويتم اتخاذ قرارات التوجيه محليًا دون استهلاك الرموز المميزة. من خلال آلية الإرسال التدريجي والذاكرة المخبأة، تم تقليل نقل الرموز المميزة بنسبة تزيد عن 90%. يمكن لنظام الذاكرة الخاص به تصفية وضغط المعلومات الرئيسية تلقائيًا عندما تمتلئ السياقات، ويدعم البحث المختلط. كما أن المشروع مزود بوظائف إحصائيات التكاليف، والحماية الآمنة، ودعم النقل بنقرة واحدة باستخدام OpenClaw، والمهام المجدولة، مما يعزز بشكل كبير من كفاءة الاستخدام والاقتصادية. (المصدر: AiHot)