ME AI Mensagem, de acordo com o monitoramento de Beating, a Prime Intellect lançou o framework de treinamento de reforço distribuído prime-rl versão 0.6.0, superando a barreira de treinamento de RL para modelos de especialistas mistos com trilhões de parâmetros MoE em tarefas de agentes com contextos extremamente longos.
Modelos grandes podem ler textos com até 256k de comprimento, o que não é incomum, mas no treinamento de reforço, para que o modelo possa realizar raciocínio por tentativa e erro de forma autônoma, a GPU precisa manter durante todo o processo os valores de ativação intermediários de 131k de comprimento, fazendo com que o consumo de memória aumente de centenas a milhares de vezes.
Anteriormente, isso exigia um grande cluster de milhares de GPUs, mas o prime-rl 0.6.0 conseguiu treinar reforço de contexto de 131k do GLM-5 usando apenas 28 servidores H200, com o tempo por passo controlado em menos de 5 minutos.
Para resolver o problema de tarefas de tentativa e erro complexas, como geração de código, onde uma minoria de tarefas de longa duração bloqueia o ritmo global e causa ociosidade prolongada dos recursos de GPU, o framework rompe com o mecanismo tradicional de espera síncrona, adotando uma arquitetura assíncrona de RL totalmente desacoplada.
O treinador de fundo, após calcular os novos pesos, não precisa esperar a conclusão das tarefas de tentativa e erro em andamento, podendo enviar atualizações em tempo real durante a geração de texto do modelo.
As tarefas já distribuídas continuam usando a estratégia antiga para garantir velocidade, enquanto novas tarefas injetam o cache KV-sal para reconstrução forçada do cache.
Para evitar que a desincronização entre treinamento e inferência na atualização assíncrona cause confusão lógica no modelo, o framework introduziu a tecnologia de reexecução de roteamento R3, que trata diretamente na camada inferior a distribuição de especialistas, evitando atrasos causados pela conversão de dados, reduzindo a discrepância entre as duas extremidades para um décimo, estabilizando significativamente o treinamento assíncrono.
No uso de recursos de hardware, o framework resolve completamente o problema de memória de GPU sendo sobrecarregada por textos longos através de um design refinado.
Na inferência, adota uma arquitetura de leitura e escrita separadas, prevenindo que modelos grandes fiquem presos na geração de texto devido à leitura de muitas pistas anteriores;
ao mesmo tempo, compartilha o conhecimento dos especialistas entre várias GPUs e usa a tecnologia Mooncake para transformar a memória e o armazenamento ociosos de múltiplos servidores em um cache compartilhado.
Para cálculos paralelos de textos extremamente longos, considerando o mecanismo de atenção esparsa DSA exclusivo do GLM-5, o framework desenvolveu uma solução paralela dedicada, garantindo que o modelo possa ter uma visão global enquanto reduz o custo de comunicação de dados entre as camadas de GPU a apenas uma vez.
Na fase de treinamento, combina DeepGEMM com a implementação do treinamento de escala de blocos FP8 proposto pelo DeepSeek V3, permitindo que treinamento e inferência usem a mesma precisão e núcleo de cálculo, eliminando fundamentalmente falhas de treinamento causadas por diferenças de precisão.
(Fonte: BlockBeats)

Ver original

Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.

Recompensa
curtir
Comentário
Repostar
Compartilhar

Comentário

Adicionar um comentário

Sem comentários

Tendências
Ver projetos
#
SKHynixTopsKOSPIByMarketCap
146,49K Popularidade
#
GateStocks7x24Trading
8,76M Popularidade
#
IsraelStrikesIranBTCPlunges
62,17K Popularidade
#
PredictWorldCup🇺🇸vs🇵🇾
910,06K Popularidade
#
TradFiCFDGoldMaster
2,09M Popularidade

Fixado

sitemap

Superando a barreira de modelos de grande escala com mais de um trilhão de parâmetros em aprendizado por reforço: o código aberto prime-rl permite que 28 servidores treinem com 131 mil de contexto

Tendências

SKHynixTopsKOSPIByMarketCap

GateStocks7x24Trading

IsraelStrikesIranBTCPlunges

PredictWorldCup🇺🇸vs🇵🇾

TradFiCFDGoldMaster

Fixado