De Hyperion a Prometheus, 2000 kilómetros de entrenamiento distribuido, separando el preentrenamiento y el aprendizaje por refuerzo. Este enfoque de arquitectura de ingeniería es bastante interesante. 3000 personas dedicadas exclusivamente a tareas de RL. La ambición de Meta en IA ya no se puede ocultar.

META0,66%
Ver original
CoinNetwork
Meta construye simultáneamente 5 clústeres de IA de nivel GW, y su capacidad informática podría superar a OpenAI y Anthropic a finales de año.
币界网消息,Meta正在同时建设5座功率超过1GW的大型AI集群,知名半导体分析机构Semianalysis估算,Meta的总算力可能在今年底超过OpenAI和Anthropic。其中,路易斯安那州的Hyperion正在建设约1GW的设施,未来可扩展至5GW俄亥俄州的Prometheus已部分投运,规划规模超过3GW,由6个园区和27座数据中心组成。Meta用高速网络将这些设施连成一个集群,未来还计划连接相距超过2000公里的园区。由于远距离网络延迟较高,Meta会将预训练放在单一区域,并将强化学习任务分散到不同园区运行。此外,Meta还组建了约3000人的团队,专门制作强化学习任务和训练环境
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado