Общая GPU обрабатывает 1T MoE, превышая тысячу токенов, эта кооперативная разработка действительно что-то значит

Посмотреть Оригинал
CoinNetwork
币界网消息,小米Mimo团队与AI编译优化系统组Tilert宣布推出Mimo-v2.5-pro-ultraspeed推理模式。在单台标准的8卡通用GPU节点上,成功在1万亿参数的混合专家(MoE)模型上实现超过1,000 tokens/s的极限生成速度,峰值可达约1,200 tokens/s。这标志着在无需采用晶圆级集成或纯片上SRAM专用芯片等非常规硬件的情况下,仅凭标准通用硬件和模型-系统协同设计首次突破1T模型千token生成速度。
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено