MiniMax:大模型无法输出人名「马嘉祺」的根因分析

robot
摘要生成中

币界网消息,MiniMax发布技术博客,披露其m2系列大模型无法输出人名「马嘉祺」的根因排查过程。排查从一个个例出发,最终揭示了一个波及整个词表的系统性退化问题。根因是分词器在训练时将「嘉祺」合并成了一个独立token。预训练阶段模型见过大量互联网文本,学会了这个token但后训练的对话数据中,包含「嘉祺」的样本不到5条。后训练过程中,tool_call标记、代码符号等高频token持续更新周围的向量空间,把「嘉祺」这类低频token挤到了错误的方向。模型仍然「认识」马嘉祺,能准确回答相关信息,丢失的只是输出这个token的能力。团队随后对约20万token的完整词表做了全量扫描,发现约4.9%的token发生了显著退化。退化最严重的是日语:29.7%的日语token显著退化,远超韩语3.3%、俄语3.7%、中文3.9%和英文3.5%。

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论