斯坦福NLP:大多公開智能體訓練數據仍集中於後訓練階段

robot
摘要生成中
AIMPACT 消息,5 月 15 日(UTC+8),斯坦福NLP團隊在Twitter上指出,目前大多數公開的智能體(agentic)訓練數據仍主要針對後訓練(post-training)階段,尤其是用於Qwen等模型(這些模型可能已在大量智能體數據上訓練過)。該團隊認為,要從頭訓練出好的開源模型,所需的智能體數據量遠超僅從開放權重進行後訓練所需,這凸顯了當前智能體訓練數據在預訓練階段的不足。(來源:InFoQ)
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 15
  • 10
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
GateUser-ced0257a
· 05-23 07:05
意思是大家其實都在裸泳,只是有的泳褲好看點
查看原文回復0
雨后余额截图
· 05-21 13:19
預訓練數據缺口確實是個盲點
查看原文回復0
Gas费省一点
· 05-21 06:03
後訓練卷上天,預訓練卻沒人卷資料,難怪天花板明顯
查看原文回復0
SushiAndSlugs
· 05-20 15:15
Qwen這波算不算躺贏?
查看原文回復0
火烈鸟正面审判
· 05-20 14:41
開源模型想追閉源,數據壁壘比算力更難破
查看原文回復0
冷光NFT柜
· 05-20 11:19
開源社區得想想怎麼眾籌預訓練數據了
查看原文回復0
GateUser-a365d15f
· 05-20 11:18
感覺又回到了數據即權力的老故事
查看原文回復0
GateUser-46033407
· 05-20 11:17
從零訓練所需的數據量級,聽起來就絕望
查看原文回復0
Perp Nightshift
· 05-20 11:11
這項研究給閉源派遞了一把刀啊
查看原文回復0
GateUser-46c777d0
· 05-20 11:08
斯坦福這個觀察很到位,agent能力確實靠後訓練堆出來的
查看原文回復0
查看更多