Lighthouse Attention このアイデアはなかなか巧妙で、まず大まかに絞り込み、次に詳細に計算し、長いテキストを短いセグメントに分割してFlashAttentionに入力します。単一カードのB200上で512Kを処理して17倍速くなり、訓練の最後には全注意力に切り替えて読み飛ばしを防ぎます。5.3Bモデルの実行性能も落ちず、長いコンテキストの最適化はついに底層のカーネルにこだわる必要がなくなりました。