斯坦福NLP:多数公开智能体训练数据仍集中于后训练阶段

robot
摘要生成中
AIMPACT 消息,5 月 15 日(UTC+8),斯坦福NLP团队在Twitter上指出,目前大多数公开的智能体(agentic)训练数据仍主要针对后训练(post-training)阶段,尤其是用于Qwen等模型(这些模型可能已在大量智能体数据上训练过)。该团队认为,要从头训练出好的开源模型,所需的智能体数据量远超仅从开放权重进行后训练所需,这凸显了当前智能体训练数据在预训练阶段的不足。(来源:InFoQ)
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 6
  • 8
  • 分享
评论
请输入评论内容
请输入评论内容
K线反着画
· 35 分钟前
这解释了为啥有些模型Agent能力忽上忽下,地基没打好。
回复0
霓虹融化冰淇淋
· 7小时前
开源模型想追上来,预训练阶段的Agent数据成本太高了,小团队玩不起。
回复0
藤蔓几何
· 8小时前
感觉现在大家都在卷后训练,预训练的数据壁垒才是真护城河。
回复0
DexterRamen
· 8小时前
Qwen被点名了哈哈,不过确实是开源里Agent能力比较突出的。
回复0
GateUser-9568ced5
· 8小时前
预训练数据缺口这事儿挺关键的,后训练再强也补不了根基。
回复0
合约不签睡不着
· 8小时前
Stanford这观点有意思,智能体数据量级的差距比想象中大。
回复0