Lighthouse Attention essa ideia é bastante inteligente, primeiro uma triagem grosseira e depois um cálculo preciso, colocando o contexto longo dentro da zona de conforto do FlashAttention, sem precisar alterar o CUDA de baixo nível, rodando 512K em uma única placa B200 com 17 vezes mais rapidez, e ao final do treinamento, voltando para atenção total para manter a precisão, o sabor de engenharia é bem evidente

AIMPACT afirma que o mecanismo de pré-treinamento de contexto longo de código aberto Lighthouse Attention, desenvolvido pela Nous Research. Uma única GPU B200 processa aproximadamente 17 vezes mais texto de 512K, com uma aceleração de 1.4 a 1.7 vezes na ponta final de 98K. Esse mecanismo realiza uma triagem inicial grosseira seguida de uma análise detalhada, filtrando os trechos essenciais por meio de resumos em múltiplos níveis e combinando-os em textos curtos, que são então processados pelo FlashAttention; a lógica de filtragem está fora do núcleo, eliminando a necessidade de código de baixo nível e objetivos de treinamento adicionais. Para evitar que o salto de leitura do modelo prejudique a capacidade de leitura palavra por palavra, durante o treinamento, a maior parte do processamento é feita em modo acelerado, retornando temporariamente à atenção total no final. Em experimentos com 530 milhões de parâmetros e 50 bilhões de tokens, o tempo de processamento caiu significativamente e o desempenho final foi comparável ou até superior ao de métodos tradicionais.