17 kali percepatan tanpa perlu mengubah dasar CUDA, desain Nous ini benar-benar membuka jalan pintas untuk inferensi teks panjang, dan detail mengembalikan perhatian penuh di akhir pelatihan juga sangat stabil.

AIMPACT menyatakan, Nous Research membuka sumber mekanisme pelatihan pra-pelatihan konteks panjang Lighthouse Attention. Satu kartu B200 memproses teks 512K sekitar 17 kali lebih cepat, dengan percepatan 1.4–1.7 kali saat 98K secara end-to-end. Mekanisme ini melakukan penyaringan kasar terlebih dahulu kemudian penyaringan halus, melalui ringkasan berjenjang yang mengekstrak fragmen inti dan menyusunnya menjadi teks pendek, kemudian diproses oleh FlashAttention; logika penyaringan berada di luar inti, menghilangkan kebutuhan kode dasar dan target pelatihan tambahan. Untuk menghindari hilangnya kemampuan membaca kata demi kata akibat loncatan model, saat pelatihan mode percepatan digunakan untuk menyelesaikan sebagian besar, dan di bagian akhir kembali ke perhatian penuh secara singkat. Dalam eksperimen dengan 5,3 miliar parameter dan 50 miliar token, waktu proses berkurang secara signifikan dan kinerja akhir setara bahkan melampaui baseline tradisional.