Hyperion到Prometheus,2000公里分布式训练,把预训练和强化学习拆开玩,这工程架构思路有点意思,3000人专门做RL任务,Meta的AI野心藏不住了

META0.66%
币 界 网
Meta同时建5座GW级AI集群,年底算力或超OpenAI和Anthropic
币界网消息,Meta正在同时建设5座功率超过1GW的大型AI集群,知名半导体分析机构Semianalysis估算,Meta的总算力可能在今年底超过OpenAI和Anthropic。其中,路易斯安那州的Hyperion正在建设约1GW的设施,未来可扩展至5GW俄亥俄州的Prometheus已部分投运,规划规模超过3GW,由6个园区和27座数据中心组成。Meta用高速网络将这些设施连成一个集群,未来还计划连接相距超过2000公里的园区。由于远距离网络延迟较高,Meta会将预训练放在单一区域,并将强化学习任务分散到不同园区运行。此外,Meta还组建了约3000人的团队,专门制作强化学习任务和训练环境
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论