オープンソース化！Nousはこの波でフィルタリングロジックをカーネル外に配置し、基盤のCUDAを変更せずに、訓練目標を追加する必要もなく、即座に使える状態にした。長文インフラの課題が解決された。

AIMPACTは、Nous Researchがオープンソース化した長いコンテキストの事前学習メカニズムであるLighthouse Attentionを称しています。単一GPU B200で512Kテキストを処理すると約17倍の高速化、98Kではエンドツーエンドの速度が1.4〜1.7倍向上します。このメカニズムは、粗いスクリーニングと精密な計算を先に行い、複数の階層の要約を通じてコア部分を抽出し短いテキストに結合し、その後FlashAttentionに渡します。スクリーニングのロジックはコアの外側にあり、低レベルのコードや追加の訓練目標を必要としません。モデルの逐語的な読解能力を失わないように、訓練時には高速モードで大部分を完了し、最後に短時間だけ全注意を再び適用します。5.3億パラメータ、500億トークンの実験では、処理時間が大幅に短縮され、最終的な性能は従来のベースラインと同等かそれを超えています。