文心5.1正式上线:参数砍至5.0三分之一,预训练成本只花同行6%

robot
概要作成中

据 动察 Beating 监测,百度文心大模型 5.1 正式上线,用户可在文心一言官网体验,企业和开发者可通过千帆平台调用 API。文心 5.1 基于今年 1 月发布的文心 5.0 训练而来,核心卖点是大幅压缩模型体积和训练开销:总参数量压缩至 5.0 的约三分之一,激活参数约为一半,预训练算力成本仅为同规模模型的 6%。

成本压缩来自百度提出的 Once-for-All 弹性训练框架。传统做法需要为不同规模的模型分别跑预训练,文心 5.0 只做一次预训练,就能通过动态采样同时优化大量不同大小的子模型。文心 5.1 就是从这个子模型矩阵中提取的最优结构,直接继承 5.0 的知识,省掉了从头训练的算力。

此前 4 月 30 日,文心 5.1 Preview 版已在 LMArena 文本榜以 1476 分拿到国内第一。正式版在基准测试上进一步刷新:AIME26 数学竞赛(使用工具)得分 99.6,仅次于 Gemini-3.1 Pro;Agent 能力超过 DeepSeek-V4-Pro;Arena 搜索榜以 1223 分排名全球第四、国内第一。

このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし
  • ピン