انتباه المنارة هذه الفكرة ذكية جدًا، تبدأ بالتصنيف الأولي ثم الحساب الدقيق، تقطع النص الطويل إلى مقاطع قصيرة تغذيها إلى FlashAttention، على بطاقة واحدة B200 يمكن أن يكون 512K أسرع بمقدار 17 مرة، في نهاية التدريب تعود إلى الانتباه الكامل لمنع القفز على القراءة، أداء نموذج 5.3 مليار لا يتأثر، وأخيرًا لم يعد من الضروري القتال مع نواة الأساس لتحسين السياق الطويل