Depois de ler, a sensação é: o limite dos modelos de código aberto, na verdade, é o limite dos dados.

A equipe de NLP de Stanford no Twitter afirmou que os dados de treinamento de agentes atualmente disponíveis publicamente são principalmente utilizados na fase de pós-treinamento, especialmente para modelos como Qwen. Esses modelos podem já ter sido treinados em uma grande quantidade de dados de agentes. Eles acreditam que a quantidade de dados de agentes necessária para treinar do zero um modelo de código aberto de alta qualidade é muito maior do que a escala de pós-treinamento apenas com pesos abertos, destacando a insuficiência de dados de agentes na fase de pré-treinamento. Fonte: InFoQ