Lighthouse Attention Ide ini cukup brilian, pertama menyaring secara kasar lalu menghitung secara detail, memasukkan konteks panjang ke dalam zona nyaman FlashAttention, tanpa perlu mengubah CUDA dasar, menjalankan 512K dengan satu kartu B200 hingga 17 kali lebih cepat, saat pelatihan selesai kembali ke perhatian penuh untuk menjaga presisi, nuansa engineering sangat kuat

AIMPACT menyatakan bahwa Nous Research membuka sumber mekanisme pelatihan pra-pemrosesan konteks panjang Lighthouse Attention. Dengan satu kartu B200, memproses 512K teks sekitar 17 kali lebih cepat, dan pada 98K, percepatan end-to-end sebesar 1.4–1.7 kali. Mekanisme ini melakukan penyaringan kasar terlebih dahulu kemudian penyaringan halus, dengan menyaring fragmen inti melalui beberapa tingkat ringkasan dan menyusunnya menjadi teks pendek, kemudian diserahkan ke FlashAttention untuk diproses; logika penyaringan berada di luar inti, menghilangkan kebutuhan kode dasar dan target pelatihan tambahan. Untuk menghindari hilangnya kemampuan membaca kata demi kata akibat loncatan model, selama pelatihan mode percepatan digunakan untuk menyelesaikan sebagian besar proses, kemudian di akhir kembali ke perhatian penuh untuk waktu singkat. Dalam eksperimen dengan 5,3 miliar parameter dan 50 miliar token, waktu proses secara signifikan menurun dan kinerja akhir setara bahkan melampaui baseline tradisional.