Lighthouse Attention esta idea es bastante ingeniosa, primero filtrar de manera gruesa y luego afinar, dividir textos largos en fragmentos cortos y alimentarlos a FlashAttention, en una sola tarjeta B200 con 512K se puede acelerar 17 veces, al final del entrenamiento volver a la atención completa para evitar saltos de lectura, el modelo de 5.3B funciona sin perder rendimiento, la optimización de contexto largo finalmente ya no requiere luchar con los kernels de bajo nivel