AI大模型競賽：從學術熱點到工程難題

上個月，AI領域爆發了一場激烈的"動物大戰"。

一方是美洲駝Llama，由於開源特性深受開發者歡迎。另一方是名爲獵鷹Falcon的大模型。5月，Falcon-40B問世後力壓美洲駝登頂開源LLM排行榜。

該排行榜由開源模型社區制作，提供了評估LLM能力的標準。排名基本上就是Llama和Falcon輪流刷新。Llama 2推出後，美洲駝家族暫時領先；但9月初，Falcon發布180B版本再次取得更高排名。

有趣的是，"獵鷹"的開發者並非科技公司，而是阿聯酋首都的一家科技創新研究所。政府人士表示，他們參與這個項目是爲了顛覆核心玩家。

如今，AI領域已進入百花齊放階段。有實力的國家和企業都在打造自己的大語言模型。僅在海灣地區就不止一個玩家 - 8月沙特剛爲國內大學購買了3000多塊H100芯片用於訓練LLM。

有投資人吐槽道:"當年看不起互聯網的商業模式創新，覺得沒有壁壘。沒想到硬科技大模型創業，依然是百模大戰..."

號稱高難度的硬科技，怎麼就變成了人人都能參與的熱潮？

Transformer的崛起

美國初創公司、中國科技巨頭、中東石油大亨能夠投身大模型，都要感謝那篇著名論文《Attention Is All You Need》。

2017年，8位計算機科學家在這篇論文中公開了Transformer算法。這篇論文目前是AI歷史上被引用次數第三高的文獻，Transformer的出現引爆了此輪AI熱潮。

當前各種大模型,包括轟動全球的GPT系列,都建立在Transformer的基礎之上。

在此之前,"教會機器閱讀"一直是公認的學術難題。不同於圖像識別,人類閱讀時不僅關注當前詞句,還會結合上下文理解。早期神經網路的輸入彼此獨立,無法理解長文本,常出現翻譯錯誤。

2014年,谷歌科學家伊利亞·薩茨克維爾首次取得突破。他利用循環神經網路(RNN)處理自然語言,大幅提升了谷歌翻譯的性能。RNN提出"循環設計",讓每個神經元同時接收當前和上一時刻的輸入,從而具備了"結合上下文"的能力。

RNN的出現點燃了學界研究熱情,但開發者很快發現它存在嚴重缺陷:該算法使用順序計算,雖然解決了上下文問題,但運行效率低下,難以處理大量參數。

從2015年開始,Noam Shazeer等8位研究者着手開發RNN的替代品,最終成果就是Transformer。相比RNN,Transformer有兩大變革:一是用位置編碼取代循環設計,實現並行計算,大幅提升訓練效率,推動AI進入大模型時代;二是進一步加強了上下文理解能力。

Transformer一舉解決了多個缺陷,逐漸發展成NLP領域的主流方案。它讓大模型從理論研究變成了純粹的工程問題。

2019年,OpenAI基於Transformer開發出GPT-2,驚豔學界。谷歌隨即推出性能更強的Meena,僅靠增加參數和算力就超越了GPT-2。這讓Transformer作者Shazeer深受震撼,寫下了"Meena吞噬世界"的備忘錄。

Transformer問世後,學界底層算法創新速度大幅放緩。數據工程、算力規模、模型架構等工程要素,日益成爲AI競賽的關鍵。只要有一定技術實力的公司,都能開發出大模型。

計算機科學家吳恩達在斯坦福大學演講時指出:"AI是一系列工具的集合,包括監督學習、無監督學習、強化學習以及生成式AI。這些都是通用技術,類似電力和互聯網。"

OpenAI雖然仍是LLM的風向標,但分析機構認爲,GPT-4的優勢主要在於工程解決方案。如果開源,任何競爭對手都能迅速復制。該分析師預計,其他大型科技公司很快就能打造出與GPT-4性能相當的大模型。

脆弱的護城河

如今,"百模大戰"已不再是誇張說法,而是客觀現實。

相關報告顯示,截至今年7月,國內大模型數量已達130個,超過美國的114個。各種神話傳說已經不夠國內科技公司取名用了。

除中美之外,一些較富裕國家也初步實現了"一國一模":日本和阿聯酋已有自己的大模型,還有印度政府主導的Bhashini、韓國互聯網公司Naver打造的HyperClova X等。

這場景仿佛回到了互聯網早期那個泡沫滿天飛的時代。正如前文所說,Transformer讓大模型變成了純粹的工程問題,只要有人有錢有顯卡,剩下的就交給參數。但入場門檻雖不高,也不意味着人人都能成爲AI時代的巨頭。

開頭提到的"動物大戰"就是典型案例:Falcon雖然在排名上超越了Llama,但很難說對Meta造成了多大衝擊。

衆所周知,企業開源自身成果,既是爲了分享科技紅利,也希望調動社會智慧。隨着各界不斷使用、改進Llama,Meta可以將這些成果應用到自己的產品中。

對開源大模型而言,活躍的開發者社群才是核心競爭力。

Meta早在2015年組建AI實驗室時就確立了開源路線;扎克伯格靠社交媒體起家,更深諳"搞好羣衆關係"之道。

10月,Meta還專門搞了個"AI版創作者激勵"活動:使用Llama 2解決教育、環境等社會問題的開發者,有機會獲得50萬美元資助。

如今,Meta的Llama系列已成爲開源LLM的風向標。截至10月初,某開源LLM排行榜前10名中,有8個都是基於Llama 2開發的。僅在該平台上,使用Llama 2開源協議的LLM就超過了1500個。

當然,像Falcon那樣提高性能也未嘗不可,但目前市面上大多數LLM與GPT-4仍有明顯差距。

例如不久前,GPT-4以4.41分的成績問鼻AgentBench測試第一名。AgentBench由清華大學與多所美國名校共同推出,用於評估LLM在多維度開放環境中的推理和決策能力,測試內容涵蓋操作系統、數據庫、知識圖譜、卡牌對戰等8個不同場景。

測試結果顯示,第二名Claude僅有2.77分,差距仍較明顯。至於那些聲勢浩大的開源LLM,成績多在1分左右,還不到GPT-4的四分之一。

要知道,GPT-4發布於今年3月,這還是全球同行追趕大半年後的結果。造成這種差距的,是OpenAI優秀的科學家團隊與長期積累的LLM研究經驗,因此能始終保持領先。

也就是說,大模型的核心優勢並非參數,而是生態建設(開源)或純粹的推理能力(閉源)。

隨着開源社區日益活躍,各LLM的性能可能會趨同,因爲大家都在使用相似的模型架構與數據集。

另一個更直觀的難題是:除了Midjourney,似乎還沒有哪個大模型能真正盈利。

價值錨點何在

今年8月,一篇名爲"OpenAI可能於2024年底破產"的文章引發關注。文章主旨幾乎可用一句話概括:OpenAI的燒錢速度太快了。

文中提到,自開發ChatGPT以來,OpenAI虧損迅速擴大,僅2022年就虧損約5.4億美元,只能依靠微軟投資支撐。

文章標題雖有誇張,卻也道出了許多大模型提供商的現狀:成本與收入嚴重失衡。

過高的成本導致目前靠AI賺大錢的只有英偉達,最多再加上博通。

據諮詢公司Omdia估計,英偉達今年二季度售出超30萬塊H100。這是一款AI訓練效率極高的芯片,全球科技公司和研究機構都在搶購。如果將這30萬塊H100堆疊起來,重量相當於4.5架波音747飛機。

英偉達業績隨之騰飛,同比營收暴增854%,令華爾街震驚。目前H100在二手市場被炒到4-5萬美元,而其物料成本僅約3000美元。

高昂的算力成本某種程度上已成爲行業發展阻力。紅杉資本曾測算:全球科技公司每年預計將花費2000億美元用於大模型基礎設施建設;相比之下,大模型每年最多只能產生750億美元收入,中間至少存在1250億美元缺口。

此外,除Midjourney等少數個例外,多數軟件公司在投入巨資後仍未找到清晰盈利模式。尤其是行業領頭羊微軟和Adobe的探索都有些踉蹌。

微軟與OpenAI合作開發的AI代碼生成工具GitHub Copilot,雖每月收費10美元,但因設施成本微軟反而每用戶虧損20美元,重度用戶甚至讓微軟月虧80美元。據此推測,定價30美元的Microsoft 365 Copilot可能虧損更多。

同樣,剛發布Firefly AI工具的Adobe也迅速上線了積分系統,防止用戶過度使用導致公司虧損。一旦用戶超出每月分配積分,Adobe就會降低服務速度。

要知道微軟和Adobe已是業務場景明確、擁有大量付費用戶的軟件巨頭。而多數參數堆積如山的大模型,最大應用場景仍是聊天。

不可否認,如果沒有OpenAI和ChatGPT橫空出世,這場AI革命可能根本不會發生;但當下,訓練大模型所創造的價值恐怕還有待商榷。

而且,隨着同質化競爭加劇,以及開源模型日益增多,單純的大模型供應商可能面臨更大挑戰。

iPhone 4的成功並非源於45nm制程的A4處理器,而是因爲它能玩植物大戰僵屍和憤怒的小鳥這樣的應用。