Hyperion到Prometheus,2000公里分布式訓練,把預訓練和強化學習拆開玩,這工程架構思路有點意思,3000人專門做RL任務,Meta的AI野心藏不住了

META0.66%
查看原文
币 界 网
Meta同時建5座GW級AI集群,年底算力或超OpenAI和Anthropic
币界網消息,Meta正在同時建設5座功率超過1GW的大型AI集群,知名半導體分析機構Semianalysis估算,Meta的總算力可能在今年底超過OpenAI和Anthropic。其中,路易斯安那州的Hyperion正在建設約1GW的設施,未來可擴展至5GW俄亥俄州的Prometheus已部分投運,規劃規模超過3GW,由6個園區和27座數據中心組成。Meta用高速網路將這些設施連成一個集群,未來還計劃連接相距超過2000公里的園區。由於遠距離網路延遲較高,Meta會將預訓練放在單一區域,並將強化學習任務分散到不同園區運行。此外,Meta還組建了約3000人的團隊,專門製作強化學習任務和訓練環境
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆