廣場
最新
熱門
新聞
我的主頁
發布
币 界 网
2026-04-29 14:39:28
關注
幣界網消息,Qwen團隊開源的FlashQLA是一套針對GDN(gated delta network,Qwen3-next / 3.5 / 3.6全系列使用的線性注意力層)的高性能算子庫。在H200上實測,前向計算速度比Fla Triton kernel快2-3倍,反向計算速度快2倍在TP8場景中,前向計算速度最高可達5.33倍。提速的核心在於利用GDN門控值的指數衰減特性實現卡內自動上下文並行(autocp),從而跳過傳統方法中計算校正矩陣的步驟。系統會根據batch size、頭數和序列長度自動判斷是否啟用CP,無需手動配置。
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見
聲明
。
打賞
按讚
回覆
轉發
分享
回覆
請輸入回覆內容
請輸入回覆內容
回覆
暫無回覆
熱門話題
查看更多
#
預測世界盃阿根廷VS埃及
19.86萬 熱度
#
Strategy上週減持3588枚BTC
1463.7萬 熱度
#
GT二季度銷毀257萬枚
7.38萬 熱度
#
SK海力士ADR獲超額認購
34.24萬 熱度
#
USD1鏈上質押享年化8.88%
87.41萬 熱度
已置頂
網站地圖
幣界網消息,Qwen團隊開源的FlashQLA是一套針對GDN(gated delta network,Qwen3-next / 3.5 / 3.6全系列使用的線性注意力層)的高性能算子庫。在H200上實測,前向計算速度比Fla Triton kernel快2-3倍,反向計算速度快2倍在TP8場景中,前向計算速度最高可達5.33倍。提速的核心在於利用GDN門控值的指數衰減特性實現卡內自動上下文並行(autocp),從而跳過傳統方法中計算校正矩陣的步驟。系統會根據batch size、頭數和序列長度自動判斷是否啟用CP,無需手動配置。