Tencent Hunyuan запропонував алгоритм розрідженої уваги Stem, затримка першої літери зменшена у 3,6 рази

Місійні новини Mars Finance 6 червня повідомляють, що Tencent Hunyuan оголосила про впровадження алгоритму розрідженої уваги Stem, який вже був включений до топової конференції машинного навчання ICML-26. Згідно з повноцінною швидкодією алгоритму Stem × HPC, на рівні алгоритму Stem реалізує майже без втрат точності при 25% бюджету за допомогою затухання положення токена (TPD) та метрики сприйняття виходу (OAM); на рівні оператора, відкритий код HPC для Stem+BSA перетворює розріджений прибуток у реальне апаратне прискорення, зменшуючи затримку першого байта при контексті близько 128K у 3.7 рази. (Широкий огляд)
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено