17 vezes mais rápido sem precisar alterar a camada base CUDA, a design da Nous é simplesmente uma via rápida para inferência de textos longos, e o detalhe de voltar ao atenção total no final do treinamento também é muito estável.

AIMPACT afirma que o mecanismo de pré-treinamento de contexto longo de código aberto Lighthouse Attention, desenvolvido pela Nous Research. Com uma única GPU B200, processa aproximadamente 17 vezes mais rápido textos de 512K, e com 98K, acelera de 1.4 a 1.7 vezes o processamento de ponta a ponta. Esse mecanismo realiza uma triagem inicial grosseira seguida de uma análise detalhada, filtrando os trechos essenciais por meio de múltiplos níveis de resumo e formando textos curtos, que são então processados pelo FlashAttention; a lógica de filtragem está fora do núcleo, eliminando a necessidade de código de baixo nível e objetivos de treinamento adicionais. Para evitar que o salto de leitura do modelo prejudique a capacidade de leitura palavra por palavra, durante o treinamento, a maior parte do processamento é feita em modo acelerado, retornando temporariamente à atenção total no final. Em experimentos com 530 milhões de parâmetros e 50 bilhões de tokens, o tempo de processamento caiu significativamente, e o desempenho final foi comparável ou até superior ao de métodos tradicionais.