CoinWorld消息,OpenAI技术人员Clive Chan称,V4技术报告整体仍是顶级水平,但给芯片厂商的硬件建议章节「出人意料地平庸甚至有错误」,与V3形成反差。V3硬件章节的Q&A曾是学术会议ISCA上最热门的讨论环节,建议内容具体到业界正在制定的互连标准,V4则空泛了许多。Chan逐条提出质疑,认为报告关于功耗的建议「恰好适得其反」,并质疑GPU之间的数据传输方式选择。关于激活函数,Chan认为报告建议用更简单的函数替换SWIGLU来降低计算负担没有必要,因为Sonic Moe已经证明用SWIGLU照样能跑到最优性能。

Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épingler