Lofli: Os grandes modelos entram na era pós-treinamento, com equipes de ponta alcançando uma proporção de poder de pré-treinamento e pós-treinamento de 1:1

Notícias ME, 24 de abril (UTC+8), de acordo com o monitoramento do Beating, o responsável pela equipe de grandes modelos da Xiaomi, Luo Fuli, apontou que a competição de grandes modelos passou de uma era dominada por pré-treinamento, como no Chat, para uma era dominada por pós-treinamento (Post-train), os Agentes. O foco principal atual é “como escalar o reforço de aprendizagem (RL) em Agentes”. Essa mudança de paradigma leva diretamente à reconstrução da alocação de poder de processamento. Luo Fuli revelou que, na era do Chat, a proporção de poder de processamento para pesquisa, pré-treinamento e pós-treinamento era aproximadamente 3:5:1; enquanto na era atual dos Agentes, a proporção adequada de alocação de recursos é 3:1:1, ou seja, o investimento em pré-treinamento e pós-treinamento tornou-se praticamente equivalente, com as equipes de modelos de ponta atualmente investindo em ambas na proporção de 1:1. Ao mesmo tempo, as exigências de arquitetura do sistema também mudaram drasticamente. No passado, a infraestrutura de RL era centrada em um “motor de inferência de modelos”, que lidava com cálculos de texto puro; agora, a infraestrutura deve ser centrada em “Agentes”, suportando agendamento de clusters heterogêneos e tolerando a interrupção de Agentes devido a fatores imprevisíveis em fluxos de trabalho complexos. (Fonte: BlockBeats)