Lighthouse Attention このアイデアはなかなか巧妙で、まず大まかに絞り込み、次に詳細に計算する。長い文章を無理に噛み砕く必要がついになくなった。

AIMPACTは、Nous Researchがオープンソース化した長いコンテキストの事前学習メカニズムであるLighthouse Attentionを発表しました。
単一GPU B200で512Kテキストを処理するのに約17倍の高速化を実現し、98Kの場合はエンドツーエンドの速度が1.4〜1.7倍向上します。
このメカニズムは、まず粗いスクリーニングを行い、その後詳細な計算を行うことで、複数の階層の要約を通じてコア部分を抽出し、それらを短いテキストに結合し、さらにFlashAttentionに渡します。
スクリーニングのロジックはコアの外側にあり、低レベルのコードや追加の訓練目標を必要としません。
モデルのジャンプリーディングによる逐語的な能力喪失を避けるために、訓練時には高速化モードで大部分を完了し、最後に短時間だけ全注意に切り替えます。
5.3億パラメータ、500億トークンの実験では、処理時間が大幅に短縮され、最終的な性能は従来のベースラインと同等かそれを超える結果となりました。