Lighthouse Attention Essa ideia é bastante inteligente, primeiro uma triagem grosseira e depois um cálculo preciso, cortando textos longos em trechos curtos para alimentar o FlashAttention, com uma GPU B200, 512K consegue ser 17 vezes mais rápido, no final do treinamento volta a atenção total para evitar saltos de leitura, o desempenho de um modelo de 5.3B ainda não cai, a otimização de contexto longo finalmente não precisa mais lutar contra o kernel de baixo nível