MiniMax відкрив вихідний код MSA, тепер можна робити контекстний аналіз на мільйон токенів без витрат на картки, ліцензія MIT дозволяє безпосередньо комерційне використання, цього тижня чекаємо ваги M3

Переглянути оригінал
CoinNetwork
MiniMax відкритий код бібліотеки уваги Blackwell, ваги M3 очікується опубліковані цього п’ятниці
Біржовий сайт повідомляє, що MiniMax оголосила про відкритий код своєї високопродуктивної бібліотеки уваги MSA для NVIDIA Blackwell (SM100), ліцензовану за MIT, та реліз ваг MiniMax-M3 цього тижня. MSA шляхом фільтрації блоків KV виконує увагу лише для релевантних блоків, підтримуючи мільйонний рівень контекстного виведення. Дослідження показують, що при сценарії з 1 мільйоном токенів MSA значно зменшує обчислювальні витрати порівняно з Dense GQA та забезпечує суттєве прискорення на H800. Відкритий код інтегрує C++ JIT та Cute-DSL, підтримує багатоточкову точність.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено