Từ Hyperion đến Prometheus, huấn luyện phân tán 2000 km, tách riêng pre-training và reinforcement learning để thực hiện, cách tiếp cận kiến trúc này khá thú vị, 3000 người chuyên làm nhiệm vụ RL, tham vọng AI của Meta không thể che giấu nổi.

币界网消息，Meta正在同时建设5座功率超过1GW的大型AI集群，知名半导体分析机构Semianalysis估算，Meta的总算力可能在今年底超过OpenAI和Anthropic。其中，路易斯安那州的Hyperion正在建设约1GW的设施，未来可扩展至5GW；俄亥俄州的Prometheus已部分投运，规划规模超过3GW，由6个园区和27座数据中心组成。Meta用高速网络将这些设施连成一个集群，未来还计划连接相距超过2000公里的园区。由于远距离网络延迟较高，Meta会将预训练放在单一区域，并将强化学习任务分散到不同园区运行。此外，Meta还组建了约3000人的团队，专门制作强化学习任务和训练环境。