أظلام القمر هذه المرة تفصل بين التعبئة المسبقة، يمكن لذاكرة التخزين المؤقتة أن تتحمل عبر شبكة إيثريوم، وأخيرًا لم يعد من الضروري الاعتماد على المعالجة المحلية في سياق طويل.

تقرير أخبار ME، الجانب المظلم للقمر وتقديم جامعة Tsinghua في arXiv خدمة Prefill-as-a-Service، التي تنفذ مرحلة التهيئة المسبقة لاستنتاج النموذج الكبير عبر مراكز البيانات. من خلال نموذج انتباه مختلط، يقلل بشكل ملحوظ من استهلاك عرض النطاق الترددي لذاكرة KV، مما يسمح بنقل التخزين المؤقت عبر Ethernet وإعادته إلى فك تشفير العنقود المحلي. يقوم هيكل PrfaaS ببناء مجموعة تهيئة مسبقة مستقلة، حيث يوجه الطلبات التي لم يتم تلبية سياقها الطويل فقط، ويترك الطلبات القصيرة على وحدة التخزين المحلية؛ ويشمل ذلك إدخال توجيه عتبة الطول، وجدولة حساسة للنطاق الترددي. تم اختبار نموذج مختلط بقدرة 1 تيرابايت، حيث زاد معدل المعالجة بنسبة 54% مقارنة بوحدة التخزين المحلية المتطابقة، و32% مقارنة بالتصميم غير المتجانس البسيط.