スタンフォードNLP:大多数公開されたエージェントのトレーニングデータは依然として後期トレーニング段階に集中している

robot
概要作成中
AIMPACT メッセージ、5 月 15 日(UTC+8)、スタンフォードNLPチームはTwitter上で指摘した。現在、公開されているほとんどのエージェント(agentic)訓練データは依然として後訓練(post-training)段階を主に対象としており、特にQwenなどのモデル(これらのモデルはすでに大量のエージェントデータで訓練されている可能性がある)に使用されている。チームは、良いオープンソースモデルをゼロから訓練するには、必要なエージェントデータ量は単にオープンな重みを用いた後訓練だけに必要な量をはるかに超えると考えており、これが現在のエージェント訓練データの事前訓練段階での不足を浮き彫りにしている。(出典:InFoQ)
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • 5
  • 8
  • 共有
コメント
コメントを追加
コメントを追加
NeonMeltsIceCream
· 4時間前
オープンソースモデルが追いつくには、事前学習段階のエージェントデータコストが高すぎて、小規模チームには手が出せない。
原文表示返信0
VineGeometry
· 4時間前
今では皆が事後のトレーニングに取り組んでいると感じるが、事前のトレーニングデータの壁が本当の防御壁だ。
原文表示返信0
DexterRamen
· 4時間前
Qwenが指名されたね、ハハ。でも確かにオープンソースの中でエージェントの能力が特に優れている。
原文表示返信0
GateUser-9568ced5
· 4時間前
事前学習データのギャップは非常に重要な問題であり、その後の追加学習では基盤を補うことはできない。
原文表示返信0
Can'tSleepWithoutSigningThe
· 4時間前
スタンフォードのこの見解は面白いです。エージェントのデータ量の差は思ったよりも大きいです。
原文表示返信0
  • ピン留め