تجمع Tsinghua + جانب الظلام من الشهر له بعض الاهتمام، أرسل prefill إلى مركز البيانات البعيد، وأخيرًا تم فك قيود RDMA.

أخبار ME News، 18 أبريل (بتوقيت UTC+8)، وفقًا لمراقبة 动察 Beating، نشرت Moonshot AI مع جامعة Tsinghua في 16 أبريل ورقة بحثية جديدة على arXiv بعنوان «Prefill-as-a-Service»، تقترح تشغيل مرحلة التهيئة المسبقة (prefill) لاستنتاج النموذج الكبير عبر مراكز البيانات. تتكون استنتاجات النموذج الكبير من خطوتين: تقوم مرحلة التهيئة المسبقة بقراءة الإدخال مرة واحدة، وتوليد ذاكرة تخزين مؤقتة من نوع KV؛ ثم تقوم عملية الت decoding بإخراج النتائج كلمة بكلمة استنادًا إلى هذه الذاكرة المؤقتة. تتطلب الخطوتان خصائص أجهزة مختلفة تمامًا، حيث تستهلك مرحلة التهيئة المسبقة قوة حسابية، بينما تستهلك عملية الت decoding ذاكرة الفيديو وعرض النطاق الترددي. النهج السائد في الصناعة هو فصل الخطوتين على آلات مختلفة (فصل PD)، لكن هذا يتطلب أن تكون الجهتان متصلتين عبر RDMA داخل نفس مركز البيانات، لأن الاتصال المكثف