斯坦福NLP:多数公开智能体训练数据仍集中于后训练阶段

robot
摘要生成中
AIMPACT 消息,5 月 15 日(UTC+8),斯坦福NLP团队在Twitter上指出,目前大多数公开的智能体(agentic)训练数据仍主要针对后训练(post-training)阶段,尤其是用于Qwen等模型(这些模型可能已在大量智能体数据上训练过)。该团队认为,要从头训练出好的开源模型,所需的智能体数据量远超仅从开放权重进行后训练所需,这凸显了当前智能体训练数据在预训练阶段的不足。(来源:InFoQ)
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 12
  • 8
  • 分享
评论
请输入评论内容
请输入评论内容
SushiAndSlugs
· 2小时前
Qwen这波算不算躺赢?
回复0
火烈鸟正面审判
· 3小时前
开源模型想追闭源,数据壁垒比算力更难破
回复0
冷光NFT柜
· 6小时前
开源社区得想想怎么众筹预训练数据了
回复0
GateUser-a365d15f
· 6小时前
感觉又回到了数据即权力的老故事
回复0
GateUser-46033407
· 6小时前
从0训需要的数据量级,听着就绝望
回复0
Perp Nightshift
· 6小时前
这研究给闭源派递了把刀啊
回复0
GateUser-46c777d0
· 6小时前
斯坦福这个观察很到位,agent能力确实靠后训练堆出来的
回复0
玻璃穹顶漫游
· 6小时前
后训练优化空间总有极限,预训练短板迟早暴露
回复0
GateUser-e84f640c
· 6小时前
这个结论对中小团队挺打击的,数据门槛越来越高
回复0
Exit Liquidity Stan
· 6小时前
希望有人能开源点高质量的预训练agent数据
回复0
查看更多