الجانب المظلم للقمر هذه المرة يضع التعبئة المسبقة في مكان آخر، يمكن لذاكرة التخزين المؤقت KV أن تتحمل عبر شبكة إيثريوم، استيعاب نموذج 1T يرفع الأداء مباشرة بنسبة 54%، وتعلم كيفية إدارة الجدولة غير المتجانسة بشكل جيد

أفادت تقارير أخبار ME أن الجانب المظلم للقمر وتيشوان قدمت على arXiv خدمة Prefill-as-a-Service، التي تنفذ مرحلة التعبئة المسبقة لاستنتاجات النماذج الكبيرة عبر مراكز البيانات. من خلال نموذج انتباه مختلط، تم تقليل استهلاك عرض النطاق الترددي لذاكرة التخزين المؤقت بشكل ملحوظ، مما يسمح بنقل التخزين المؤقت عبر Ethernet وإعادته إلى فك تشفير العنقود المحلي. قام هيكل PrfaaS ببناء مجموعة تعبئة مسبقة مستقلة، حيث يتم توجيه الطلبات التي لم يتم استيفاؤها في سياق طويل فقط، بينما تظل الطلبات القصيرة في وحدة التخزين المحلية؛ كما تم إدخال توجيه عتبة الطول، وجدولة تعتمد على عرض النطاق الترددي. أظهرت الاختبارات أن النموذج المختلط الذي يضم 1 تيرابايت من المعلمات يزيد من معدل المعالجة بنسبة 54% مقارنة بوحدة التخزين المحلية المتطابقة، و32% مقارنة بالنموذج غير المتجانس البسيط.