Lighthouse Attention 这思路挺巧,先粗筛再精算,把长文本砍成短片段喂给 FlashAttention,单卡 B200 上 512K 能快 17 倍,训练末期再切回全注意力防跳读,5.3B 模型跑下来性能还不掉,长上下文优化终于不用死磕底层 kernel 了

原文已不可见
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论