La conclusión de Stanford es bastante impactante: abrir los pesos es solo el comienzo, la barrera de datos es en realidad el foso que protege la fortaleza.

El equipo de NLP de Stanford en Twitter afirmó que los datos de entrenamiento de agentes actualmente disponibles públicamente se utilizan principalmente en la fase de post-entrenamiento, especialmente para modelos como Qwen. Estos modelos pueden haber sido entrenados en una gran cantidad de datos de agentes. Creen que la cantidad de datos de agentes necesaria para entrenar desde cero un modelo de código abierto de alta calidad supera con creces la escala de solo realizar un post-entrenamiento con pesos abiertos, lo que destaca la insuficiencia de datos de agentes en la fase de preentrenamiento. Fuente: InFoQ