OpenAI技術者、V4ハードウェア推奨事項を批評：V3の業界への影響からの驚くべき変化

ベーティングの監視によると、OpenAIの技術者クライブ・チャンは、全体的なV4の技術レポートは非常に優れていると述べているが、チップメーカー向けのハードウェア推奨は「驚くほど平凡で誤っていることさえある」と指摘し、V3と starkly contrasting している。V3のレポートのハードウェアセクションには、学術会議ISCAで最も人気のあった議論であるQ&Aが含まれており、インターコネクト用に開発されている業界標準に特化した推奨事項があったが、V4ははるかに曖昧になっている。チャンはいくつかの論点を挙げた。電力消費に関して、レポートはソフトウェア最適化により、チップが計算、ストレージ、通信を同時に最大容量で実行できると主張しており、チップメーカーはより多くの電力余裕を確保すべきだと示唆している。チャンはこれを「逆効果」と反論し、チップの総電力消費は物理的なプロセスによって制限されており、より多くの電力余裕を確保すると動作周波数を下げることになり、計算能力が低下すると述べている。GPU間のデータ伝送に関して、レポートはGPUにデータをプッシュするのではなく、(プル)して積極的に読み取るべきだと示唆しているが、これはプッシュ通知のオーバーヘッドが高いためだ。チャンはこの判断に疑問を呈し、プルの方が実際には遅いと考え、ネットワークカードのデータ処理能力を向上させるべきだと主張している。ただし、両者は同じレベルの問題について議論していない可能性がある。レポートは通知メカニズムのオーバーヘッドについて触れている一方、チャンは伝送自体の遅延に関心を持っている。活性化関数に関して、レポートはSwiGLUをより単純な関数に置き換えて計算負荷を軽減すべきだと推奨しているが、チャンはこれを不要と考えており、Sonic MoEがすでに最適なパフォーマンスをSwiGLUを用いて達成できることを示している。チャンはDeepSeekが「意図的にこのセクションを過小評価した可能性がある」と疑っている。