نوس开源Lighthouse Attention：单B200跑512K提速17倍

نوس للأبحاث أطلقت آلية الانتباه المنارة (Lighthouse Attention) للتدريب المسبق للسياق الطويل. عند معالجة نص بطول 512 ألف على بطاقة رسومات B200 واحدة، يكون سرعة الحساب أسرع بحوالي 17 مرة من الآلية التقليدية، وحققت تسريعًا من 1.4 إلى 1.7 مرة في التدريب الشامل عند طول 98 ألف.
الآلية التقليدية للانتباه تتطلب حساب العلاقات الثنائية بين جميع الكلمات، ومع زيادة طول النص، يزداد استهلاك القدرة الحسابية بشكل تربيعي. آلية الانتباه المنارة تستخدم نهج التصفية المسبقة ثم الحساب الدقيق. فهي تقوم أولاً بمراجعة ملخصات النص المضغوطة بسرعة على مستويات مختلفة، وتختار القطع الأساسية من خلال التقييم، ثم تجمعها لتكوين نص قصير، وتُعالج مباشرة بواسطة العامل الفعّال FlashAttention. نظرًا لأن منطق التصفية تم فصله تمامًا عن النواة، يختصر المطورون عناء كتابة الكود الأساسي، ولا حاجة لإضافة أهداف تدريبية إضافية.
$AI
{spot}(AIUSDT)