NousオープンソースのLighthouse Attention：単一B200で512Kを処理し17倍の高速化

Nous Researchは長いコンテキストの事前学習メカニズムであるLighthouse Attentionをオープンソース化しました。単一のB200 GPUで512Kの長さのテキストを処理する際、この方式の計算速度は従来のメカニズムより約17倍高速であり、98Kの長さではエンドツーエンドのトレーニング速度を1.4倍から1.7倍向上させました。
従来のアテンションメカニズムはすべての単語間の関係を計算する必要があり、テキストが長くなるほど計算コストは二乗に比例して増加します。Lighthouse Attentionは先に粗くスクリーニングし、その後詳細に計算するアプローチを採用しています。まず異なる層でテキストの圧縮された要約を高速に閲覧し、スコア付けによって重要な部分を抽出して短いテキストにまとめ、その後既存の高効率演算子であるFlashAttentionに直接渡して処理します。フィルタリングのロジックはコア外に完全に切り離されているため、開発者は低レベルのコードを書く手間を省き、追加のトレーニング目標も必要ありません。
$AI
{spot}(AIUSDT)