Lighthouse Attention, esta idea es bastante ingeniosa, primero una selección preliminar y luego un cálculo preciso, poner el contexto largo en la zona de confort de FlashAttention, sin necesidad de modificar CUDA a nivel base, en una sola tarjeta B200 correr 512K casi 17 veces más rápido, al finalizar el entrenamiento volver a atención completa para mantener la precisión, el toque técnico es muy correcto

AIMPACT afirma que Nous Research ha abierto el mecanismo de preentrenamiento de contexto largo Lighthouse Attention. Con una sola tarjeta B200, procesa aproximadamente 17 veces más rápido textos de 512K, y a 98K la aceleración de extremo a extremo es de 1.4 a 1.7 veces. Este mecanismo realiza una selección preliminar seguida de un análisis detallado, filtrando fragmentos clave mediante múltiples niveles de resumen y ensamblándolos en textos cortos, que luego son procesados por FlashAttention; la lógica de filtrado está fuera del núcleo, eliminando la necesidad de código de bajo nivel y objetivos de entrenamiento adicionales. Para evitar que el salto de lectura del modelo pierda la capacidad de lectura palabra por palabra, durante el entrenamiento primero se completa la mayor parte en modo acelerado, y al final se vuelve brevemente a la atención completa. En experimentos con 530 millones de parámetros y 50 mil millones de tokens, el tiempo de procesamiento disminuyó significativamente y el rendimiento final fue comparable o incluso superior a las líneas base tradicionales.