Aberto ao público! Nous desta vez colocou a lógica de filtragem fora do núcleo, sem precisar alterar o CUDA de baixo nível nem adicionar objetivos de treino, pronto para usar, o ponto fraco da infra de textos longos foi resolvido.

AIMPACT afirma que a pesquisa Nous Research lançou o mecanismo de pré-treinamento de contexto longo de código aberto Lighthouse Attention. Uma única GPU B200 processa aproximadamente 17 vezes mais rápido 512K de texto, e a velocidade de ponta para 98K aumenta de 1,4 a 1,7 vezes. Este mecanismo realiza uma triagem inicial grosseira seguida de uma análise detalhada, filtrando os trechos essenciais através de múltiplos níveis de resumo e combinando-os em textos curtos, que são então processados pelo FlashAttention; a lógica de filtragem está fora do núcleo, eliminando a necessidade de código de baixo nível e objetivos de treinamento adicionais. Para evitar que o salto de leitura do modelo prejudique a capacidade de leitura palavra por palavra, durante o treinamento, a maior parte do processamento é feita em modo acelerado, retornando temporariamente à atenção total no final. Em experimentos com 530 milhões de parâmetros e 50 bilhões de tokens, o tempo de processamento diminuiu significativamente e o desempenho final foi comparável ou até superior ao de métodos tradicionais.