AMD MI300絕殺英偉達H100？ 跑GPT-4性能超25%，AI晶片大決戰一觸即發

文章來源：新智元

圖片來源：由無界 AI生成

面對即將到來的AI晶元大決戰，不少晶元初創公司躍躍欲試，希望一舉打破英偉達的壟斷地位。 而AMD的MI300，在部署32K上下文視窗的GPT-4模型時，居然比H100效果更好？

AI晶片大決戰，即將來臨！

AI硬體開發商初創公司的未來會怎樣？

Tenstorrent CEO David Bennett直言不諱地表示，在我們這個行業，大部分初創公司的結局就是倒閉。

該如何生存？ 他建議初創企業應該保持靈活性，避免將自己局限在狹隘的用例中。

這裡，Bennett指的並不是某個小眾市場， 而是由 SiMa.ai 到Cerebras等數十家公司組成的一個廣泛集團。 他們共同籌集了數十億美元的風投，來對抗這個市場的領導者——英偉達。

Bennett深諳此道。 他曾在AMD從事銷售工作十多年。

而他目前的僱主Tenstorrent的CEO，是Jim Keller，一位硬體傳奇人物。 他曾開發出支援iPhone 4和iPad 2的蘋果A4和A5處理器，並在2016年至2018年負責特斯拉自動駕駛汽車的硬體工作。

Tenstorrent公司已經從富達風投和現代汽車等投資者籌集了超過3億美元的資金，它遵循了Bennett的建議：從晶元到雲計算等，提供一切服務。

Bennett表示，如今的晶片初創公司，大致都是在「為AI製造專用硬體」和「依賴當下流行模式」這兩者之間徘徊。

英偉達的劣勢：很難從頭製造晶元

英偉達的AI晶元GPU起家的故事，實際上為今天的晶元初創公司提供了優勢。

圖形處理單元起初是為計算機圖形學提供動力的，但由於它能並行執行多種計算，才在AI應用領域大放異彩。

不過，但這一意外也給英偉達帶來了不利因素——現在，英偉達很難在不影響現有GPU業務的情況下，從頭開始製造晶元了，而這，就給了新興初創公司提供了機會，製造專為AI打造的新硬體。

比如，Tenstorrent的工程師就為未來的稀疏神經網路設計了Grayskull晶片，在這種網路中，冗餘資訊可以被去除。

儘管如此，Bennett認為，專注於為大語言模型構建晶元的初創公司，和Transformer架構捆綁得太緊了。

在這種架構下，基於Transformer的模型基本是在預測最有可能出現的下一個單詞，因此它們一直被詬病生成的回答是基於概率，而非基於推理。

這也就意味著，在當前的AI熱潮中，這些模型架構可能無法倖存下來。

畢竟，由於發展速度太快，如今的LLM壽命相對較短。 昨天還炙手可熱的模型，一兩周後可能就會銷聲匿跡。

另一個對硬體公司來說風險很大的領域，就是製造專門用於推理的晶元。

這方面的代表是晶元開發商d-Matrix，它計劃在明年上半年發佈推理專用晶元。

乍一看，這個策略似乎不錯。 生成式AI應用的用戶現在會越來越多地利用現有的專有或開源模型，而不是從頭開始構建自己的模型。

正因如此，許多人認為，應該在模型推理上花更多錢，而非模型訓練上。

雖然從商業角度來看，這可能是一個明智之舉，但Bennett認為，過於狹隘地專注於推理，會阻礙硬體開發人員為其他可能更受歡迎的用例提供服務。

例如，對於運行模型所需的低精度計算，純推理晶元就夠了。

但是，如果開發者想要微調大模型，就很可能需要能處理更高精度計算的晶元了。

尖端晶片，把GPU和CPU放在一起

為了在即將到來的AI晶元大決戰中倖存，晶元開發商需要改變晶元的架構。

今天，大多數晶元都是把GPU和CPU分開的。 前者能夠同時執行多種計算，後者負責執行更多的通用指令，管理更廣泛的系統操作。

然而越來越多的尖端晶元（如英偉達的Grace Hopper 超級晶元和AMD即將推出的MI300A），都將GPU和CPU放在一起。

這種佈局可以讓CPU更快地準備數據，將數據載入到GPU上，從而加快模型的訓練。

另外，硬體初創公司想要打破英偉達的市場主導地位，還面臨著一個最大的障礙，就是軟體優勢。

英偉達用於編寫機器學習應用程式的Cuda軟體，只能在自家晶元上運行。 而這實際上就把開發者鎖定在了英偉達GPU上。

AMD MI300跑GPT-4更6

英偉達的霸主地位，就這麼難以撼動？

Semianalysis記者Dylan Patel和Myron Xie最近就發文稱，AMD的MI300在性價比方面，將會明顯優於英偉達的H100！

他們表示，隨著新一代MI300的推出，AMD即將成為英偉達和谷歌在LLM推理領域唯一的競爭對手。

相比之下，Groq、SambaNova、英特爾、亞馬遜、微軟等公司仍無法與之抗衡。

此外，為了應對英偉達基於CUDA構建的護城河，AMD一直在大力投資自己的RoCM軟體、PyTorch生態系統和OpenAI的Triton。

隨著Databricks、AI21、Lamini、Moreph等公司開始使用AMD GPU進行推理/訓練，AMD自己的生態也愈發完善。

據業內人士透露，擁有更大顯存的MI300，在部署32K上下文視窗的GPT-4模型時效果更好。

具體來說，與H100相比，MI300的性能優勢在20%到25%之間，具體取決於上下文長度和提示長度/每次查詢輸出的token數量。

再加上更低廉的價格，MI300在性價比方面，將會明顯優於英偉達的H100，甚至是H200。

###

大廠紛紛下單

目前，微軟、Meta、甲骨文、谷歌、Supermicro/Quantadirect、亞馬遜等公司已經向AMD下了大約205,000台MI300的訂單。

在這之中，有120,000台專門供應給微軟，25,000台給Meta，12,000台給甲骨文，8,000台給谷歌，5,000台給亞馬遜公司，35,000台給其他公司。

而且由於數量巨大，微軟購買MI300的價格預計要比其他客戶低上不少。

為了計算MI300在明年為AMD帶來的收入，需要從兩個角度進行分析：AMD能確保多少供應量，以及主要客戶會訂購多少。

在供應方面，MI300的產能將在年內逐步提升，但由於英偉達B100會在第二季度開始出貨，並在第三季度隨著性價比更高的風冷版的推出而大幅提升，這將在很大程度上影響AMD在第四季度的出貨量。

同時，還需要考慮記憶體製造商的HBM產量、CoWoS產量、封裝產量以及使用CoWoS生產的每種加速器的情況，包括英偉達、AMD、Google/Broadcom、Meta/Broadcom、Intel/Al Chip、Amazon/Al Chip、Amazon/Marvell、Microsoft/GUC等。

即便如此，業內依然認為MI300X第四季度的出貨量可以達到110,000台。

客戶方面，微軟、Meta、甲骨文、谷歌、Supermicro/Quantadirect和亞馬遜是訂單的主要來源，但也有一些訂單來自供應鏈的其他部分，包括一些用於HPC型應用的MI300A。

利潤方面，英偉達並沒有降價的跡象，只是在價格不變的情況下增加了HBM容量/頻寬。 而與英偉達超過80%的獲利率相比，AMD在MI300上的獲利率僅勉強超過了50%。

AMD首席執行官蘇姿豐表示，基於公司在AI方面的快速進展以及雲計算客戶的購買承諾，數據中心GPU的收入預計將在第四季度達到4億美元，2024年將超過20億美元。

這一增長也將使MI300成為AMD歷史上銷售額最快達到10億美元的產品。

對此，業內對於MI300X的銷售額則更加樂觀——預期可以達到35億美元。

從AMD目前在LLM訓練和推理領域小於0.1%的市場份額來看，AMD在數據中心領域的市場份額依然會穩步增長。

參考資料：