Hyperion к Prometheus — распределённое обучение на 2000 км, разделение предварительного обучения и усиленного обучения. Интересный подход к инженерной архитектуре. 3000 человек занимаются исключительно задачами RL — амбиции Meta в области ИИ уже не скрыть.

币界网消息，Meta正在同时建设5座功率超过1ГВт的大型AI集群，知名半导体分析机构Semianalysis估算，Meta的总算力可能在今年底超过OpenAI和Anthropic。其中，路易斯安那州的Hyperion正在建设约1ГВт的设施，未来可扩展至5ГВт。俄亥俄州的Prometheus已部分投运，规划规模超过3ГВт，由6个园区和27座数据中心组成。Meta用高速网络将这些设施连成一个集群，未来还计划连接相距超过2000公里的园区。由于远距离网络延迟较高，Meta会将预训练放在单一区域，并将强化学习任务分散到不同园区运行。此外，Meta还组建了约3000人的团队，专门制作强化学习任务和训练环境。