الجانب المظلم للقمر هذه اللعبة Prefill-as-a-Service تلعب بشكل مكلف، تترك عملية التعبئة المسبقة تُشغل عن بُعد، وتحتفظ فقط بفك التشفير محليًا، مما يقلل ضغط النطاق الترددي مباشرة إلى النصف، وأخيرًا يمكننا رؤية قيمة الأداء في سيناريوهات السياق الطويل.

أفادت تقارير أخبار ME أن الجانب المظلم للقمر وتيشوان قدمت في arXiv خدمة Prefill-as-a-Service، التي تنفذ مرحلة التعبئة المسبقة لاستنتاجات النماذج الكبيرة عبر مراكز البيانات. من خلال نموذج انتباه مختلط، تم تقليل استهلاك عرض النطاق الترددي لذاكرة التخزين المؤقت بشكل ملحوظ، مما يسمح بنقل التخزين المؤقت عبر Ethernet وإعادته إلى فك تشفير العنقود المحلي. قام فريق بنية PrfaaS ببناء مجموعة تعبئة مسبقة مستقلة، حيث يتم توجيه الطلبات التي لم يتم تلبية سياقها الطويل فقط، بينما تظل الطلبات القصيرة في وحدة التخزين المحلية؛ كما تم إدخال توجيه عتبة الطول، وجدولة تعتمد على عرض النطاق الترددي. أظهرت الاختبارات أن النموذج المختلط الذي يحتوي على 1 تيرابايت من المعلمات يزيد من معدل المعالجة بنسبة 54% مقارنة بوحدة التخزين المحلية المتطابقة، و32% مقارنة بالنموذج غير المتجانس البسيط.