Загальні GPU обробляють 1Т MoE понад тисячу токенів, ця співпраця у дизайні має дещо особливе

Переглянути оригінал
CoinNetwork
Звіт з Coinjie.com, команда Xiaomi Mimo та група систем оптимізації AI-компіляції Tilert оголосили про запуск режиму розгортання Mimo-v2.5-pro-ultraspeed.
На одному стандартному вузлі з 8 універсальними GPU-картами успішно досягнуто межі швидкості генерації понад 1 000 токенів/с на гібридній експертній моделі (MoE) з 1 трильйоном параметрів, пікова швидкість досягає приблизно 1 200 токенів/с.
Це ознаменовує перший прорив у швидкості генерації тисячі токенів на модель з понад 1 трильйон параметрів без використання нестандартного апаратного забезпечення, такого як інтеграція на рівні кристала або спеціалізовані чіпи SRAM, виключно за допомогою стандартного універсального обладнання та системного дизайну.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено