Lighthouse Attention Ide ini cukup cerdas, pertama menyaring secara kasar lalu menghitung secara detail, memotong teks panjang menjadi potongan pendek yang diberikan ke FlashAttention, di atas satu kartu B200 dengan 512K bisa 17 kali lebih cepat, di akhir pelatihan kembali beralih ke perhatian penuh untuk mencegah lompat baca, model 5.3B tetap performa tidak menurun, optimisasi konteks panjang akhirnya tidak perlu lagi berjuang keras dengan kernel dasar