Lighthouse Attention ця ідея досить кмітлива, спочатку грубо відсіювати, потім точно обчислювати, розбиваючи довгі тексти на короткі фрагменти та подаючи їх у FlashAttention, на одному GPU B200 з 512K швидкість зросла в 17 разів, наприкінці тренування повертаємося до повного уваги, щоб уникнути пропуску читання, модель 5.3B працює без втрат у продуктивності, оптимізація довгого контексту нарешті не вимагає боротьби з низькорівневими ядрами.

Переглянути оригінал
Оригінальний вміст більше не відображається
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено