怎么选 + 总结:


• 能拿教师权重 + 追求上限→软标签
• 只能用闭源 API/做合成数据→硬标签
• 从零联合预训练→协同蒸馏
蒸馏本质:把"训超大模型"的算力开销,换成"许多小模型可部署的能力"。
你对哪种蒸馏路径最感兴趣?
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论