أظلم القمر، هذه المرة ألقى التعبئة المسبقة في مركز البيانات البعيد، وذاكرة التخزين المؤقتة KV تتنقل عبر شبكة الإيثرنت ذهابًا وإيابًا، وزيادة معدل النقل بنسبة 54% حقًا قوية، وأخيرًا لم يعد من الضروري استهلاك عرض النطاق الترددي المحلي بالكامل للبيانات الطويلة.

أفادت تقارير أخبار ME أن الجانب المظلم للقمر وتيشوان قدمت في arXiv خدمة Prefill-as-a-Service، التي تنفذ مرحلة الملء المسبق لاستنتاجات النماذج الكبيرة عبر مراكز البيانات. من خلال نموذج انتباه مختلط، تم تقليل استهلاك عرض النطاق الترددي لذاكرة التخزين المؤقت بشكل ملحوظ، مما يسمح بنقل التخزين المؤقت عبر Ethernet وإعادته إلى فك تشفير العنقود المحلي. يقوم هيكل PrfaaS ببناء مجموعة ملء مسبق مستقلة، حيث يتم توجيه الطلبات التي لم يتم تلبية سياقها الطويل فقط، بينما تظل الطلبات القصيرة في وحدة التخزين المحلية؛ كما يتم إدخال توجيه عتبة الطول، وجدولة حساسة للنطاق الترددي. أظهرت الاختبارات أن النموذج المختلط ذو 1 تيرابايت من المعلمات، يحقق زيادة في الإنتاجية بنسبة 54% مقارنة بوحدة التخزين المحلية المتطابقة، و32% مقارنة بالنموذج غير المتجانس البسيط.