根据 Beating 的监测，AI 研究员 Lawrence Chan 和 Benno Sturgeon 在一篇对 Pine AI 首席科学家李博杰论文的评论中，讨论了题为《不可压缩知识探针：基于事实容量估算黑盒大型语言模型参数数量》的研究。原论文通过使用 1,400 个琐事问题“称量”封闭源模型，估算出 GPT-5.5 约为 9.7T、Claude Opus 约为 4.0T，而 o1 约为 3.5T。评论者认为，尽管该方法本身具有价值，但原始数字因评分标准和问题质量而被显著夸大。主要问题在于“地板分”。原论文将问题划分为 7 个难度等级；当模型在某一等级上回答错误过多时，得分理论上可能变为负数；然而，代码实际上把每个等级的最低分都拉回到 0。这样就夸大了尖端模型在难题上的表现差距，并进一步推高了推断得到的参数数量。论文声称并未以这种方式处理，但代码与已发表结果确实采用了这一处理方式。在去除“地板分”后，拟合斜率从 6.79 降至 3.56。该斜率可以理解为：“得分每增加 1 点，相当于有多少参数增长被换算进去”；斜率越小，意味着相同幅度的得分差异不再对应如此夸张的参数差异。R² 值从 0.917 降至 0.815，表明“得分到参数数量”的拟合曲线不像原论文中那样稳定。90% 的预测区间从 3.0 倍扩大到 5.7 倍，暗示误差余量更大，并且不应把单点数值看得太重。该评论还指出，在 1,400 个问题中有 131 个存在歧义或答案错误，占比 9.4%。这些问题主要集中在难题部分，而难题被用来区分像 GPT-5.5 和 Claude Opus 4.7 这样的尖端封闭源模型。根据他们修订后的标准，GPT-5.5 从原论文的 9659B 下调至 1458B，90% 的预测区间为 256B 至 8311B；Claude Opus 4.7 从 4042B 下调至 1132B；GPT-5 从 4088B 下调至 1330B。评论者还强调，不应把 1.5T 视为 GPT-5.5 的真实参数数量。更准确的结论是，这种“琐事称量方法”对评分细节与问题质量高度敏感，像 9.7T 这样的数值也不能直接被用作用于封闭源模型的“重量/度量”标准。

查看原文

此页面可能包含第三方内容，仅供参考（非陈述/保证），不应被视为 Gate 认可其观点表述，也不得被视为财务或专业建议。详见声明。

赞赏
点赞
评论
转发
分享

请输入评论内容

暂无评论

热门话题
查看更多
#
PreIPOs第二期OpenAI认购
130.74万热度
#
GateDEX全面接入RobinhoodChain
73.75万热度
#
台积电Q2净利暴增77.4%
24.3万热度
#
夏日创作营
100.29万热度
#
USDT充值理财双重奏
2915.35万热度

置顶

GPT-5.5 “15000亿亿参数” 重新评估：修订为大约97000亿亿

热门话题

PreIPOs第二期OpenAI认购

GateDEX全面接入RobinhoodChain

台积电Q2净利暴增77.4%

夏日创作营

USDT充值理财双重奏

置顶