Delphi项目:外推300倍预测大模型训练,误差仅0.2%

AIMPACT 消息,5 月 12 日(UTC+8),WilliamBarrHeld发布推文介绍Delphi项目,作为Marin的第一步。该项目通过单一配方预训练多个小模型,然后外推300倍,成功预测了一个250亿参数、6000亿token的训练运行,误差仅为0.2%。Delphi旨在实现可预测的扩展,以训练更好的开源模型。(来源:InFoQ)

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论