Les techniciens d'OpenAI remettent en question point par point les recommandations matérielles de la V4 : le chapitre V3 qui a impressionné l'industrie cette fois-ci est « surprenant ».

robot
Création du résumé en cours
ME News消息,4月24日(UTC+8),据动察Beating监测,OpenAI技术人员Clive Chan称,V4技术报告整体仍是顶级水平,但给芯片厂商的硬件建议章节「出人意料地平庸甚至有错误」,与V3形成反差。V3硬件章节的Q&A曾是学术会议ISCA上最热门的讨论环节,建议内容具体到业界正在制定的互连标准,V4则空泛了许多。Chan逐条提出质疑。关于功耗,报告称软件优化让芯片的计算、存储和通信同时满载运行,建议芯片厂商预留更多电力空间。Chan认为「恰好适得其反」:芯片的总功耗受物理工艺限制,多留电力余量就意味着降低运行频率,算力反而变少。关于GPU之间的数据传输方式,报告称选择让GPU主动去读取数据(pull),而非让对方推送(push),因为push的通知开销太高。Chan质疑这一判断,认为pull反而更慢,应改进网卡的数据处理能力。不过两人讨论的可能不是同一层面的问题:报告说的是通知机制的开销,Chan说的是传输本身的延迟。关于激活函数,报告建议用更简单的函数替换SwiGLU来降低计算负担,Chan认为没有必要,因为Sonic MoE已经证明用SwiGLU照样能跑到最优性能。Chan怀疑DeepSeek可能「故意弱化了这个章节」。(来源:BlockBeats)
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé