罗福莉:大模型迈入后训练时代,顶尖团队预训练与后训练算力比达1:1

robot
摘要生成中
ME News 消息,4 月 24 日(UTC+8),据 动察 Beating 监测,小米大模型团队负责人罗福莉指出,大模型竞争已从预训练主导的 Chat 时代,全面转向后训练(Post-train)主导的 Agent 时代。当前的核心赛点是「如何在 Agent 上做好强化学习(RL)的 scaling」。 这一范式转变直接导致算力分配的重构。罗福莉透露,在 Chat 时代,用于研究、预训练和后训练的算力比例约为 3:5:1;而在如今的 Agent 时代,合理的算力分配比例变为 3:1:1,即预训练与后训练的算力投入已基本相当,目前顶尖模型团队在这两项的投入比例已达到 1:1。 同时,系统架构的要求也发生巨变。过去的 RL 基础设施主要以「模型推理引擎」为核心,处理纯文本演算;现在的基建必须以「Agent」为核心,支持异构集群调度,并能容忍 Agent 在复杂工作流中因各类不可控因素中断的模糊性。 (来源:BlockBeats)
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论