文心5.1正式上线:参数砍至5.0三分之一,预训练成本只花同行6%

据 动察 Beating 监测,百度文心大模型 5.1 正式上线,用户可在文心一言官网体验,企业和开发者可通过千帆平台调用 API。文心 5.1 基于今年 1 月发布的文心 5.0 训练而来,核心卖点是大幅压缩模型体积和训练开销:总参数量压缩至 5.0 的约三分之一,激活参数约为一半,预训练算力成本仅为同规模模型的 6%。 成本压缩来自百度提出的 Once-for-All 弹性训练框架。传统做法需要为不同规模的模型分别跑预训练,文心 5.0 只做一次预训练,就能通过动态采样同时优化大量不同大小的子模型。文心 5.1 就是从这个子模型矩阵中提取的最优结构,直接继承 5.0 的知识,省掉了从头训练的算力。 此前 4 月 30 日,文心 5.1 Preview 版已在 LMArena 文本榜以 1476 分拿到国内第一。正式版在基准测试上进一步刷新:AIME26 数学竞赛(使用工具)得分 99.6,仅次于 Gemini-3.1 Pro;Agent 能力超过 DeepSeek-V4-Pro;Arena 搜索榜以 1223 分排名全球第四、国内第一。

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论