Perhatian dua lapis dengan penyaringan kasar + perhitungan halus, setelah pelatihan kembali ke perhatian penuh untuk mencegah lompat baca, kinerja model 5.3B tidak menurun malah meningkat. Konteks panjang akhirnya tidak perlu lagi dipaksa keras dengan kartu.

AIMPACT menyatakan bahwa Nous Research membuka sumber mekanisme pelatihan pra-pemrosesan konteks panjang Lighthouse Attention. Dengan satu kartu B200, memproses 512K teks sekitar 17 kali lebih cepat, dan pada 98K, percepatan end-to-end sebesar 1.4–1.7 kali. Mekanisme ini melakukan penyaringan kasar terlebih dahulu kemudian penyaringan halus, melalui ringkasan berjenjang yang mengekstrak fragmen inti dan menyusunnya menjadi teks pendek, kemudian diberikan ke FlashAttention untuk diproses; logika penyaringan berada di luar inti, menghilangkan kebutuhan kode dasar dan target pelatihan tambahan. Untuk menghindari hilangnya kemampuan membaca kata demi kata akibat loncatan model, saat pelatihan dilakukan mode percepatan untuk menyelesaikan sebagian besar, kemudian di akhir kembali ke perhatian penuh secara singkat. Dalam eksperimen dengan 5,3 miliar parameter dan 50 miliar token, waktu proses secara signifikan menurun dan performa akhir setara bahkan melampaui baseline tradisional.