Curso de perplexidade inversa + RL em duas fases + padronização na fase de teste, com essa combinação, o teto do modelo de inferência treinado posteriormente foi mais uma vez ultrapassado.

Ver original
MeNews
O modelo de inferência pós-treinamento SU-01 alcança desempenho de medalha de ouro em questões de nível olímpico
AIMPACT propôs um método sistemático para transformar modelos de inferência pós-treinamento em solucionadores de nível olímpico, dividido em três etapas: realizar ajuste fino supervisionado com cursos de perplexidade reversa para incorporar busca de provas e autoverificação; depois expandir por meio de reforço de aprendizagem em duas fases; e, na fase de teste, realizar uma escalabilidade para aprimoramento. Aplicado ao backbone 30B-A3B, usando cerca de 340 mil trajetórias sub-8K para ajuste fino supervisionado, seguido de 200 passos de RL, resultando no SU-01. Este modelo consegue realizar inferências estáveis em problemas difíceis, com trajetórias superiores a 100 mil tokens, atingindo nível de medalha de ouro em competições como IMO/USAMO/IPhO, e demonstrando capacidade de generalização de raciocínio científico além de matemática e física.
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário