تسخير + الجانب المظلم للقمر هذا المرة فصل التهيئة المسبقة، يمكن لذاكرة التخزين المؤقتة أن تتحمل عبر شبكة إيثريوم، وزيادة معدل النقل بنسبة 54% حقًا رائعة، هيكل تكلفة الاستنتاج في السياق الطويل سيتغير بشكل كبير

أفادت تقارير أخبار ME أن الجانب المظلم للقمر وتيشوان قدمت على arXiv خدمة Prefill-as-a-Service، التي تنفذ مرحلة التعبئة المسبقة لاستنتاجات النماذج الكبيرة عبر مراكز البيانات. من خلال نموذج انتباه مختلط، تم تقليل استهلاك عرض النطاق الترددي لذاكرة التخزين المؤقت بشكل ملحوظ، مما يسمح بنقل التخزين المؤقت عبر Ethernet وإعادته إلى فك تشفير العنقود المحلي. قام فريق بنية PrfaaS ببناء مجموعة تعبئة مسبقة مستقلة، حيث يتم توجيه الطلبات التي لم يتم تلبية سياقها الطويل فقط، بينما تظل الطلبات القصيرة في وحدة التخزين المحلية؛ كما تم إدخال توجيه عتبة الطول، وجدولة حساسة للنطاق الترددي. أظهرت الاختبارات أن النموذج المختلط الذي يحتوي على 1 تيرابايت من المعلمات، حقق زيادة في الأداء بنسبة 54% مقارنة بوحدة التخزين المحلية المتطابقة، و32% مقارنة بالنموذج غير المتجانس البسيط.