Lighthouse Attention 这思路挺妙，先粗筛再精算，把长上下文塞进 FlashAttention 的舒适区，还不用改底层 CUDA，单卡 B200 跑 512K 快 17 倍，训练收尾再切回全注意力保精度，工程味很正

AIMPACT称，Nous Research开源长上下文预训练机制Lighthouse Attention。单卡B200处理512K文本快约17倍，98K时端到端提速1.4–1.7倍。该机制先粗筛再精算，通过多层级摘要筛出核心片段并拼成短文本，再交给FlashAttention处理；筛选逻辑在内核之外，免去底层代码与额外训练目标。为避免模型跳跃阅读丧失逐字能力，训练时先用加速模式完成大部分，末尾短时切回全注意力。5.3亿参数、500亿Token实验中，耗时显著下降且最终性能与传统基线相当甚至超越。