罗福莉: grandes modelos entram na era pós-treino, equipas de topo têm proporção de poder computacional entre pré-treino e pós-treino de 1:1

robot
Geração de resumo em curso
ME News, 24 de abril (UTC+8), de acordo com a monitorização do Beating, Luo Fuli, responsável pela equipa de grandes modelos da Xiaomi, salientou que a competição dos grandes modelos passou completamente da era Chat, dominada pelo pré-treinamento, para a era Agent, dominada pelo pós-treinamento (Post-train). O ponto-chave atual é «como fazer o scaling da aprendizagem por reforço (RL) no Agent».
Esta mudança de paradigma levou diretamente à reestruturação da alocação de poder computacional. Luo Fuli revelou que, na era Chat, a proporção de poder computacional para investigação, pré-treinamento e pós-treinamento era aproximadamente 3:5:1; enquanto na atual era Agent, a proporção razoável de alocação de poder computacional passou a ser 3:1:1, ou seja, o investimento em poder computacional para pré-treinamento e pós-treinamento é praticamente equivalente, e atualmente as equipas de topo já atingiram uma proporção de 1:1 nestes dois aspetos.
Ao mesmo tempo, os requisitos da arquitetura do sistema também sofreram grandes mudanças. No passado, a infraestrutura de RL centrava-se principalmente no «motor de inferência do modelo», lidando com cálculos de texto puro; agora, a infraestrutura deve centrar-se no «Agent», suportar a programação de clusters heterogéneos e tolerar a ambiguidade das interrupções do Agent em fluxos de trabalho complexos devido a vários fatores incontroláveis.
(Fonte: BlockBeats)
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado