AIMPACT メッセージ、5 月 16 日（UTC+8）、動察 Beating 監測によると、Nous Research は長いコンテキストの事前学習メカニズム Lighthouse Attention をオープンソース化しました。1枚の B200 グラフィックカードで 512K の長さのテキストを処理する際、この方式の計算速度は従来のメカニズムより約 17 倍速く、98K の長さではエンドツーエンドの訓練速度を 1.4 から 1.7 倍向上させました。従来の注意機構はすべての単語間の関係を計算する必要があり、テキストが長くなるほど計算負荷は二乗規模で増加します。Lighthouse Attention は先に粗くスクリーニングし、その後詳細に計算するアプローチを採用しています。まず異なる層でテキストの圧縮された要約を高速に閲覧し、スコア付けによってコア部分を抽出して短いテキストにまとめ、それを既存の高効率演算子 FlashAttention に直接渡して処理します。フィルタリングロジックはコア外に完全に切り離されているため、開発者は低レベルのコードを書く手間を省き、追加の訓練目標も必要ありません。過去に類似の高速化方案は副作用を伴うことが多く、モデルがジャンプ読みを習慣化すると、もともとの逐字精読能力を失いやすくなります。この落とし穴を避けるため、研究チームはモデルに高速モードで大部分の処理を完了させ、訓練の最後に短時間だけ従来の全注意計算に切り替えて適応させました。5.3億パラメータ規模のモデルに対し、5億 Token の訓練データを投入した実測では、この方法で訓練されたモデルは時間を大幅に短縮し、最終的な性能も従来方式で訓練したベースラインを全面的に追い越すか、上回る結果を得ました。（出典：BlockBeats）

原文表示

このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております（表明・保証をするものではありません）。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。

7 いいね

報酬
7
9
2
共有

コメントを追加

PartiallyMeltedIceCream

· 2時間前

17倍の加速は少し誇張かもしれませんが、98Kはわずか1.4〜1.7倍で、長くなるほど利益がより顕著になるようです

原文表示返信0

ACalmnessWithAHintOfPomelo

· 3時間前

多層級要約で短いテキストを結合し、その後FlashAttentionに渡す、このエンジニアリングのトリックは非常に巧妙だ

原文表示返信0

GateUser-8ca669fd

· 3時間前

長いコンテキスト競技はエンジン最適化段階に入り、パラメータの調整よりも見どころが増している

原文表示返信0

TidalShell

· 3時間前

従来のベースラインが超えられるとは少し意外で、加速には常に品質を犠牲にすると思っていた

原文表示返信0

GateUser-318a7dc8

· 3時間前

5.3Bパラメータで検証可能、小規模なチームでも追随できる

原文表示返信0

GateUser-d6fb8ff1

· 3時間前

コードを公開して、私の4090がどれだけのKを耐えられるか試してみる

原文表示返信0

Glass-HeartMarketMaker

· 3時間前

余分な訓練目標を省くことは非常に重要です。さもなければ、オープンソースにしても誰も訓練できなくなります。

原文表示返信0

OrderbookOtter

· 3時間前

Lighthouseこの名前は良いですね、まず重要な点を照らしてから詳しく見る

原文表示返信0

TokenTinkerTao

· 3時間前

B200単カード512K、今後個人で長文書のRAGコストが下がる。

原文表示返信0

人気の話題
もっと見る
#
WinGoldBarsWithGrowthPoints
1.24M 人気度
#
WTICrudeFallsBelow90Dollars
1.21M 人気度
#
IsraelStrikesIranBTCPlunges
51.65K 人気度
#
StockTradingChallengeUpTo17000U
213.78K 人気度
#
USIranNegotiationGame
9.36M 人気度

ピン留め

サイトマップ

NousオープンソースのLighthouse Attention：単一B200で512Kを処理、17倍の高速化

人気の話題

WinGoldBarsWithGrowthPoints

WTICrudeFallsBelow90Dollars

IsraelStrikesIranBTCPlunges

StockTradingChallengeUpTo17000U

USIranNegotiationGame

ピン留め