Nova abordagem de código aberto para contexto longo, a ideia de triagem grosseira + cálculo preciso é bastante inteligente, e a mudança para atenção total durante o treino para evitar degradação também é cuidadosa

AIMPACT afirma que a pesquisa Nous Research lançou o mecanismo de pré-treinamento de contexto longo de código aberto Lighthouse Attention. Uma única GPU B200 processa aproximadamente 17 vezes mais texto de 512K, com uma aceleração de 1.4 a 1.7 vezes na ponta final de 98K. Este mecanismo realiza uma triagem grosseira seguida de uma análise detalhada, filtrando fragmentos essenciais através de múltiplos níveis de resumo e combinando-os em textos curtos, que são então processados pelo FlashAttention; a lógica de triagem está fora do núcleo, eliminando a necessidade de código de baixo nível e objetivos de treinamento adicionais. Para evitar que o salto de leitura do modelo prejudique a capacidade de leitura palavra por palavra, durante o treinamento, a maior parte é concluída usando um modo acelerado, retornando temporariamente à atenção total no final. Em experimentos com 530 milhões de parâmetros e 50 bilhões de tokens, o tempo de processamento caiu significativamente e o desempenho final foi comparável ou até superior ao de métodos tradicionais.