Lighthouse Attention esta abordagem é bastante inteligente, primeiro uma triagem grosseira e depois um cálculo preciso, cortando textos longos em segmentos curtos para alimentar o FlashAttention, com uma velocidade 17 vezes maior em uma única GPU B200 com 512K, no final do treinamento voltando ao atenção total para evitar saltos de leitura, o desempenho de um modelo de 5.3B ainda não caiu, a otimização de contexto longo finalmente não precisa mais lutar com o kernel de baixo nível