HyperionからPrometheusまで、2000kmの分散トレーニングで、事前学習と強化学習を分離して扱う。このエンジニアリングアーキテクチャの考え方が面白い。3000人でRLタスクに専念、MetaのAIの野心が隠せなくなっている。

幣界網の報道によると、Metaは同時に出力1GW超の大規模AIクラスターを5つ建設している。著名な半導体分析機関Semianalysisの推計では、Metaの総計算能力は今年末までにOpenAIとAnthropicを上回る可能性がある。その中で、ルイジアナ州のHyperionでは約1GWの施設が建設中で、将来的には5GWまで拡張可能。オハイオ州のPrometheusは一部稼働済みで、計画規模は3GW超、6つのキャンパスと27のデータセンターで構成される。Metaは高速ネットワークでこれらの施設を1つのクラスターに接続しており、将来的には2000km以上離れたキャンパス間の接続も計画している。長距離ネットワークのレイテンシが高いため、Metaは事前学習を単一地域に集中させ、強化学習タスクを異なるキャンパスに分散して実行する。さらにMetaは約3000人からなるチームを編成し、強化学習タスクとトレーニング環境の作成に特化している。