Pour faire évoluer la communauté open source, il faut trouver des moyens d'obtenir ou de synthétiser davantage de données de pré-entraînement au niveau des agents intelligents.

L'équipe NLP de Stanford a déclaré sur Twitter que les données d'entraînement des agents actuellement publiques sont principalement utilisées lors de la phase de post-formation, en particulier pour des modèles comme Qwen. Ces modèles ont peut-être déjà été entraînés sur une grande quantité de données d'agents. Ils estiment que la quantité de données d'agents nécessaire pour former un modèle open source performant dès le départ dépasse largement celle requise pour une simple post-formation à partir de poids ouverts, soulignant ainsi le manque de données d'agents lors de la phase de pré-entraînement. Source : InFoQ