以下是 AI 運算領域的分歧,許多人沒有正確解讀。


前沿訓練每季都更加集中——數千張 GPU 必須擺在同一個地方並相互連接。但訓練只佔 2026 年需求的 30%,其餘 70% 是推理。而在超大規模雲端上運行推理,意味著為最困難的工作負載所建的基礎設施,卻用來執行最簡單的任務。
在分散式網路上,同樣的推理可以便宜 45-75%。對於任何編列 AI 基礎設施預算的人來說,這個差距就是全部關鍵。
訓練因必要而集中。推理則走向分散,因為為了不需要 AWS 利潤率的工作負載而支付其費用,在規模化時就變得不再合理。
查看原文
post-image
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆