オープンソースの長いコンテキストの新しい解法、粗いスクリーニング＋精密計算のアイデアはなかなか賢いです。訓練時に全注意力に切り替えて退化を防ぐ工夫も行き届いています。

AIMPACTは、Nous Researchがオープンソース化した長いコンテキストの事前学習メカニズムであるLighthouse Attentionを称賛している。単一GPU B200で512Kテキストを処理するのに約17倍の高速化、98Kではエンドツーエンドの速度が1.4〜1.7倍向上する。 このメカニズムは先に粗いスクリーニングを行い、その後詳細な計算を行うことで、複数階層の要約を通じてコア部分を抽出し短いテキストに結合し、その後FlashAttentionに渡す。スクリーニングのロジックはコアの外側にあり、低レベルのコードや追加の訓練目標を必要としない。モデルのジャンプリーディングによる逐語的な能力喪失を避けるために、訓練時には高速モードで大部分を完了し、最後に短時間だけ全注意に切り替える。5.3億パラメータ、500億トークンの実験では、処理時間が著しく短縮され、最終的な性能は従来のベースラインと同等かそれを超える。