AIMPACT メッセージ、5 月 15 日(UTC+8)、スタンフォードNLPチームはTwitter上で指摘した。現在、公開されているほとんどのエージェント(agentic)訓練データは依然として後訓練(post-training)段階を主に対象としており、特にQwenなどのモデル(これらのモデルはすでに大量のエージェントデータで訓練されている可能性がある)に使用されている。チームは、良いオープンソースモデルをゼロから訓練するには、必要なエージェントデータ量は単にオープンな重みを用いた後訓練だけに必要な量をはるかに超えると考えており、これが現在のエージェント訓練データの事前訓練段階での不足を浮き彫りにしている。(出典:InFoQ)
スタンフォードNLP:大多数公開されたエージェントのトレーニングデータは依然として後期トレーニング段階に集中している