Lighthouse Attention cette idée est plutôt astucieuse, d'abord un filtrage grossier puis un calcul précis, en insérant le contexte long dans la zone de confort de FlashAttention, sans modifier le CUDA de bas niveau, une seule carte B200 exécute 512K presque 17 fois plus vite, et lors de la fin de l'entraînement, on revient à l'attention complète pour conserver la précision, l'aspect technique est très correct

AIMPACT affirme que Nous Research a développé le mécanisme d'entraînement en pré-formation à long contexte open source Lighthouse Attention.
Une seule carte B200 traite environ 17 fois plus rapidement 512K de texte, avec une accélération de 1,4 à 1,7 fois pour 98K.
Ce mécanisme filtre d'abord grossièrement puis affine, en sélectionnant les segments clés via une synthèse à plusieurs niveaux, puis en les assemblant en un texte court, avant de le traiter avec FlashAttention ;
La logique de filtrage est en dehors du noyau, évitant ainsi le code de bas niveau et les objectifs d'entraînement supplémentaires.
Pour éviter que le saut de lecture du modèle ne compromette la capacité de lecture mot à mot, lors de l'entraînement, la majorité est effectuée en mode accéléré, puis en fin de processus, on revient brièvement à une attention complète.
Dans une expérience avec 530 millions de paramètres et 50 milliards de tokens, le temps de traitement a été considérablement réduit, et la performance finale est comparable voire supérieure aux méthodes traditionnelles.