Lighthouse Attention このアイデアはなかなか素晴らしい、まず大まかに絞り込み、次に詳細に計算し、長い上下文をFlashAttentionの快適ゾーンに押し込み、底層のCUDAを変更せずに済む、シングルカードのB200で512Kを17倍速く動かし、訓練の最後に全注意機構に切り替えて精度を保つ、エンジニアリングの味がとても良い

AIMPACTは、Nous Researchがオープンソース化した長いコンテキストの事前学習メカニズムであるLighthouse Attentionを発表しました。単一GPUのB200で512Kのテキストを処理するのに約17倍の高速化を実現し、98Kではエンドツーエンドの速度が1.4〜1.7倍向上しました。このメカニズムは、粗いスクリーニングと精密な計算を行い、複数の階層の要約を通じてコア部分を抽出し、それらを短いテキストに結合してからFlashAttentionに渡します。スクリーニングのロジックはコアの外側にあり、低レベルのコードや追加の訓練目標を必要としません。モデルの逐語的な読解能力を失わないように、訓練時には高速モードで大部分を処理し、最後に短時間だけ全注意に切り替えます。5.3億パラメータ、500億トークンの実験では、処理時間が大幅に短縮され、最終的な性能は従来のベースラインと同等かそれを超える結果となりました。