Lighthouse Attention, ide ini cukup cerdas, pertama menyaring secara kasar lalu menghitung secara detail, akhirnya teks panjang tidak perlu lagi dipaksakan untuk dipahami secara paksa.

AIMPACT menyatakan bahwa Nous Research membuka sumber mekanisme pelatihan pra-pelatihan konteks panjang Lighthouse Attention. Dengan satu kartu B200 memproses teks sebanyak 512K sekitar 17 kali lebih cepat, dan pada 98K mempercepat end-to-end sebesar 1.4–1.7 kali. Mekanisme ini melakukan penyaringan kasar terlebih dahulu kemudian penyaringan halus, melalui ringkasan berjenjang yang mengekstrak fragmen inti dan menyusunnya menjadi teks pendek, kemudian diberikan ke FlashAttention untuk diproses; logika penyaringan berada di luar inti, menghilangkan kebutuhan kode dasar dan target pelatihan tambahan. Untuk menghindari hilangnya kemampuan membaca kata demi kata akibat loncatan model, saat pelatihan mode percepatan digunakan untuk menyelesaikan sebagian besar, dan di bagian akhir kembali ke perhatian penuh untuk waktu singkat. Dalam eksperimen dengan 5,3 miliar parameter dan 50 miliar token, waktu proses berkurang secara signifikan dan performa akhir setara bahkan melampaui baseline tradisional.