OpenAI技術人員逐條質疑V4硬體建議:V3驚豔業界的章節這次「令人意外」

robot
摘要生成中
ME News 消息,4 月 24 日(UTC+8),據 動察 Beating 監測,OpenAI 技術人員 Clive Chan 稱,V4 技術報告整體仍是頂級水平,但給晶片廠商的硬體建議章節「出人意料地平庸甚至有錯誤」,與 V3 形成反差。V3 硬體章節的 Q&A 曾是學術會議 ISCA 上最熱門的討論環節,建議內容具體到業界正在制定的互連標準,V4 則空泛了許多。 Chan 逐條提出質疑。關於功耗,報告稱軟體優化讓晶片的計算、存儲和通信同時滿載運行,建議晶片廠商預留更多電力空間。Chan 認為「恰好適得其反」:晶片的總功耗受物理工藝限制,多留電力餘量就意味著降低運行頻率,算力反而變少。關於 GPU 之間的數據傳輸方式,報告稱選擇讓 GPU 主動去讀取數據(pull),而非讓對方推送(push),因為 push 的通知開銷太高。Chan 質疑這一判斷,認為 pull 反而更慢,應改進網卡的數據處理能力。不過兩人討論的可能不是同一層面的問題:報告說的是通知機制的開銷,Chan 說的是傳輸本身的延遲。關於激活函數,報告建議用更簡單的函數替換 SwiGLU 來降低計算負擔,Chan 認為沒有必要,因為 Sonic MoE 已經證明用 SwiGLU 照樣能跑到最優性能。Chan 懷疑 DeepSeek 可能「故意弱化了這個章節」。 (來源:BlockBeats)
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆