Hyperion ao Prometheus, 2.000 quilômetros de treinamento distribuído, separando o pré-treinamento do aprendizado por reforço. Essa ideia de arquitetura de engenharia é bem interessante — 3.000 pessoas dedicadas exclusivamente a tarefas de RL. A ambição de IA da Meta não pode mais ser escondida.

Notícias do Bijing.com: a Meta está construindo simultaneamente 5 grandes clusters de IA com potência superior a 1 GW cada. A conhecida firma de análise de semicondutores Semianalysis estima que a capacidade total de computação da Meta pode ultrapassar a da OpenAI e da Anthropic até o final deste ano.

Entre eles, o Hyperion, na Louisiana, está construindo uma instalação de cerca de 1 GW, que no futuro poderá ser expandida para 5 GW. O Prometheus, em Ohio, já está parcialmente operacional, com capacidade planejada superior a 3 GW, composto por 6 campi e 27 data centers. A Meta está conectando essas instalações em um único cluster por meio de uma rede de alta velocidade, e planeja futuramente conectar campi distantes mais de 2.000 km. Devido à alta latência de rede em longas distâncias, a Meta realizará o pré-treinamento em uma única região e distribuirá as tarefas de aprendizado por reforço para serem executadas em diferentes campi. Além disso, a Meta montou uma equipe de aproximadamente 3.000 pessoas dedicadas exclusivamente à criação de tarefas e ambientes de treinamento de aprendizado por reforço.