ME AI Mensagem, de acordo com o monitoramento Beating, a Prime Intellect lançou a versão 0.6.0 do framework de treinamento de aprendizado por reforço distribuído prime-rl, superando a barreira de treinamento de RL de modelos de especialistas híbridos com trilhões de parâmetros MoE em tarefas de agentes com contexto extremamente longo.
Modelos grandes podem ler textos com mais de 256k de comprimento, o que não é incomum, mas no treinamento de aprendizado por reforço, para que o modelo possa realizar raciocínio por tentativa e erro de forma autônoma, a GPU precisa armazenar durante todo o processo os valores de ativação intermediários de 131k de comprimento, fazendo com que o consumo de memória aumente de centenas a milhares de vezes.
Anteriormente, isso exigia um grande cluster de milhares de GPUs, mas o prime-rl 0.6.0 conseguiu treinar o RL de contexto de 131k do GLM-5 usando apenas 28 servidores H200, com o tempo por passo controlado em menos de 5 minutos.
Para resolver o problema de tarefas de tentativa e erro complexas, como geração de código, onde uma minoria de tarefas de longa duração bloqueia o ritmo global e causa ociosidade prolongada dos recursos de GPU, o framework rompe com o mecanismo tradicional de espera síncrona, adotando uma arquitetura de RL assíncrona totalmente desacoplada.
O treinador de fundo, após calcular os novos pesos, não precisa esperar a conclusão das tarefas de tentativa e erro em andamento, podendo enviar atualizações em tempo real durante a geração de texto do modelo.
As tarefas já distribuídas continuam usando a estratégia antiga para garantir velocidade, enquanto novas tarefas injetam o cache KV-sal para reconstrução forçada do cache.
Para evitar que a desincronização entre treinamento e inferência na atualização assíncrona cause confusão na lógica do modelo, o framework introduz a tecnologia de roteamento de replay R3, que trata diretamente na camada inferior a distribuição de especialistas, evitando atrasos causados pela conversão de dados, reduzindo a discrepância entre as duas extremidades para um décimo, estabilizando significativamente o treinamento assíncrono.
Na otimização de recursos de hardware, o framework resolve completamente o problema de memória de GPU sendo sobrecarregada por textos longos através de um design refinado.
Na inferência, adota uma arquitetura de leitura e escrita separadas, prevenindo que modelos grandes fiquem presos na geração de texto por leitura de muitas pistas anteriores;
ao mesmo tempo, compartilha o conhecimento dos especialistas entre várias GPUs e utiliza a tecnologia Mooncake para transformar a memória e o armazenamento ociosos de múltiplos servidores em um cache compartilhado.
Para o cálculo paralelo de textos extremamente longos, considerando o mecanismo de atenção esparsa DSA exclusivo do GLM-5, o framework desenvolveu uma solução paralela dedicada, garantindo que o modelo possa ter uma visão global enquanto reduz o custo de comunicação de dados entre camadas de GPU a apenas uma vez.
Na fase de treinamento, combina o DeepGEMM para implementar o treinamento de escala de blocos FP8 proposto pelo DeepSeek V3, permitindo que treinamento e inferência usem a mesma precisão e núcleo de cálculo, eliminando fundamentalmente as falhas de treinamento causadas por desvios de precisão.
(Origem: BlockBeats)

Ver original

Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.

Recompensa
gostar
Comentar
Republicar
Partilhar

Comentar

Adicionar um comentário

Nenhum comentário

Tópicos em destaque
Ver mais
#
SKHynixTopsKOSPIByMarketCap
146,42K Popularidade
#
GateStocks7x24Trading
8,76M Popularidade
#
IsraelStrikesIranBTCPlunges
62,17K Popularidade
#
PredictWorldCup🇺🇸vs🇵🇾
910,06K Popularidade
#
TradFiCFDGoldMaster
2,09M Popularidade

Fixado

Superar a barreira de modelos de grande escala com mais de um trilhão de parâmetros na aprendizagem por reforço: o código aberto prime-rl permite treinar 28 servidores com 131 mil contextos

Tópicos em destaque

SKHynixTopsKOSPIByMarketCap

GateStocks7x24Trading

IsraelStrikesIranBTCPlunges

PredictWorldCup🇺🇸vs🇵🇾

TradFiCFDGoldMaster

Fixado