Open source! Nous kali ini menempatkan logika penyaringan di luar inti, tidak perlu mengubah dasar CUDA juga tidak perlu menambahkan tujuan pelatihan, langsung pakai, titik sakit infra teks panjang telah diatasi.

AIMPACT menyatakan bahwa Nous Research membuka sumber mekanisme pelatihan pra-pelatihan konteks panjang Lighthouse Attention. Dengan satu kartu B200, memproses 512K teks sekitar 17 kali lebih cepat, dan pada 98K, percepatan end-to-end sebesar 1.4–1.7 kali. Mekanisme ini melakukan penyaringan kasar terlebih dahulu kemudian penyaringan halus, dengan menyaring fragmen inti melalui ringkasan berjenjang dan menyusunnya menjadi teks pendek, kemudian diproses oleh FlashAttention; logika penyaringan berada di luar inti, menghilangkan kebutuhan kode dasar dan target pelatihan tambahan. Untuk menghindari hilangnya kemampuan membaca kata demi kata akibat loncatan model, selama pelatihan mode percepatan digunakan untuk menyelesaikan sebagian besar, kemudian di bagian akhir kembali ke perhatian penuh secara singkat. Dalam eksperimen dengan 5,3 miliar parameter dan 50 miliar token, waktu proses berkurang secara signifikan dan kinerja akhir setara bahkan melampaui baseline tradisional.