Andrej Karpathy最新內部Agent觀點分享直接指出了當前AI領域最大的一個失誤:人們正在強迫Agent去工作,完全忽略了應該先徹底掌握底層大模型。AK說了一個反常識的結論:目前站在Agent最前沿的不是大廠而是獨立開發者和創業者。視頻我附在文後了
早在2016年,OpenAI就踩過這個坑,並為此付出了整整五年的時間代價。
Karpathy想要傳達的核心邏輯:第一步要立刻停止讓智能體包攬一切的幻想,先去搞懂底層的模型。第二步要認清行業現實,做演示極其簡單,做產品卻需要十年。自動駕駛已經印證了這一點,如果跳過地基階段,所有構建出來的東西都會瞬間崩塌。第三步要明白,智能體本身根本算不上產品,基礎大模型才是真正的核心。只要把基礎打好,智能體自然會湧現出來。
回顧2016年在OpenAI的經歷,Karpathy和Tim Shi以及Jim Fan共同參與了一個名為世界比特的項目。他們當時的初衷是讓強化學習智能體擺脫打遊戲這類測試,不再去玩蒙特祖瑪的復仇,轉而嘗試去使用電腦、鍵盤和滑鼠。
他們希望智能體能執行一些真正有用的日常任務,比如在極其簡單的網頁上訂機票或者點外賣。當時他們讓AI瘋狂點擊滑鼠和鍵盤按鈕,試圖撞大運般地闖入一個更高級的智能世界。結果顯而易見,這個項目徹底失敗了。
當時的技術根本不具備條件,團隊手裡唯一的錘子只有強化學習。那個時間點最正確的做法應該是徹底忘掉AI智能體,把全部精力集中在構建語言模型上。
時間來到五年後,Karpathy在短暫涉足自動駕駛領域後發現,AI智能體再次成為行業絕對的熱門,整個工具鏈卻已經發生了翻天覆地的變化。今天大家解決這些問題的方法完全重構了,開發智能體的人大概率根本不需要用到任何強化學習技術。這種演變方式超出了當時所有人的預料。
現在所有人都在狂熱追捧智能體,因為大家很容易聯想到,通用人工智能最終一定會以某種AI智能體的形式呈現。未來大概率會出現成群的智能體,甚至形成數字實體的龐大組織或文明。這聽起來確實令人振奮。
面對這種狂熱,Karpathy選擇澆一盆冷水。有一大類問題很容易發揮想像力,也很容易做出酷炫的演示,要把它們變成真正的產品卻異常困難。
自動駕駛就是一個極其典型的例子。想像一輛車繞著街區自動行駛並做出演示非常容易,將其打造成真正落地的產品需要耗費十年。VR領域同樣如此。智能體也完美符合這個特徵,想像和做演示都很簡單,真正要讓它發揮作用,開發者必須做好死磕十年的準備。
為了尋找新思路,Karpathy建議大家重新從神經科學中汲取靈感。深度學習早期正是這樣做的,現在開發智能體完全可以再次借鑑大腦的運作模式。
一個完整的數字實體需要擁有人類具備的所有認知工具。除了作為解決方案一部分的語言模型,還需要一個內部助手來提前規劃和反思行為。
大腦結構提供了完美的參考藍圖。海馬體在AI智能體中的等價物就是記錄記憶痕跡,利用向量嵌入技術進行索引並實現檢索。數字實體的視覺和聽覺皮層我們大概知道怎麼構建,丘腦的作用同樣值得深思。丘腦負責整合所有信息,可以說是意識的所在地。當多個數字實體爭奪控制權和麥克風來決定下一步行動時,丘腦就負責處理這種複雜的衝突。Karpathy還特別推薦了David Eagleman的《大腦與行為》一書,認為神經科學裡蘊含著設計數字個體的絕佳靈感。
最後,Karpathy分享了一個極具顛覆性的行業現狀。
當前站在AI智能體能力最前沿的人,毫無疑問是現在正在動手構建智能體的獨立開發者和創業者。OpenAI或DeepMind這類大型語言模型實驗室,目前在智能體賽道上並沒有站在最前沿。
OpenAI非常擅長訓練龐大的Transformer語言模型。如果現在有一篇提出全新Transformer訓練方法的論文發表,OpenAI內部大概率在兩年半前就已經嘗試過,並且清楚地知道成功或失敗的根本原因。大廠在這個領域擁有絕對的技術壁壘。
當一篇關於新型智能體的論文發表時情況完全不同。大廠的團隊同樣會覺得眼前一亮,因為他們並沒有在這個特定分支上秘密研發五年。這意味著巨頭們在這個賽道上必須和所有的基層創業者以及黑客同台競技。
對於現在正在開發智能體的普通開發者來說,你們正處於這項變革性技術的最前沿。
本文來源:AI寒武紀
風險提示及免責條款
市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。
481.95萬 熱度
107.4萬 熱度
23.44萬 熱度
1.52億 熱度
141.41萬 熱度
Karpathy最新Agent觀點:大廠並沒有掌握智能體核心技術,個人開發者正稱霸前沿。
Andrej Karpathy最新內部Agent觀點分享直接指出了當前AI領域最大的一個失誤:人們正在強迫Agent去工作,完全忽略了應該先徹底掌握底層大模型。AK說了一個反常識的結論:目前站在Agent最前沿的不是大廠而是獨立開發者和創業者。視頻我附在文後了
早在2016年,OpenAI就踩過這個坑,並為此付出了整整五年的時間代價。
Karpathy想要傳達的核心邏輯:第一步要立刻停止讓智能體包攬一切的幻想,先去搞懂底層的模型。第二步要認清行業現實,做演示極其簡單,做產品卻需要十年。自動駕駛已經印證了這一點,如果跳過地基階段,所有構建出來的東西都會瞬間崩塌。第三步要明白,智能體本身根本算不上產品,基礎大模型才是真正的核心。只要把基礎打好,智能體自然會湧現出來。
回顧2016年在OpenAI的經歷,Karpathy和Tim Shi以及Jim Fan共同參與了一個名為世界比特的項目。他們當時的初衷是讓強化學習智能體擺脫打遊戲這類測試,不再去玩蒙特祖瑪的復仇,轉而嘗試去使用電腦、鍵盤和滑鼠。
他們希望智能體能執行一些真正有用的日常任務,比如在極其簡單的網頁上訂機票或者點外賣。當時他們讓AI瘋狂點擊滑鼠和鍵盤按鈕,試圖撞大運般地闖入一個更高級的智能世界。結果顯而易見,這個項目徹底失敗了。
當時的技術根本不具備條件,團隊手裡唯一的錘子只有強化學習。那個時間點最正確的做法應該是徹底忘掉AI智能體,把全部精力集中在構建語言模型上。
時間來到五年後,Karpathy在短暫涉足自動駕駛領域後發現,AI智能體再次成為行業絕對的熱門,整個工具鏈卻已經發生了翻天覆地的變化。今天大家解決這些問題的方法完全重構了,開發智能體的人大概率根本不需要用到任何強化學習技術。這種演變方式超出了當時所有人的預料。
現在所有人都在狂熱追捧智能體,因為大家很容易聯想到,通用人工智能最終一定會以某種AI智能體的形式呈現。未來大概率會出現成群的智能體,甚至形成數字實體的龐大組織或文明。這聽起來確實令人振奮。
面對這種狂熱,Karpathy選擇澆一盆冷水。有一大類問題很容易發揮想像力,也很容易做出酷炫的演示,要把它們變成真正的產品卻異常困難。
自動駕駛就是一個極其典型的例子。想像一輛車繞著街區自動行駛並做出演示非常容易,將其打造成真正落地的產品需要耗費十年。VR領域同樣如此。智能體也完美符合這個特徵,想像和做演示都很簡單,真正要讓它發揮作用,開發者必須做好死磕十年的準備。
為了尋找新思路,Karpathy建議大家重新從神經科學中汲取靈感。深度學習早期正是這樣做的,現在開發智能體完全可以再次借鑑大腦的運作模式。
一個完整的數字實體需要擁有人類具備的所有認知工具。除了作為解決方案一部分的語言模型,還需要一個內部助手來提前規劃和反思行為。
大腦結構提供了完美的參考藍圖。海馬體在AI智能體中的等價物就是記錄記憶痕跡,利用向量嵌入技術進行索引並實現檢索。數字實體的視覺和聽覺皮層我們大概知道怎麼構建,丘腦的作用同樣值得深思。丘腦負責整合所有信息,可以說是意識的所在地。當多個數字實體爭奪控制權和麥克風來決定下一步行動時,丘腦就負責處理這種複雜的衝突。Karpathy還特別推薦了David Eagleman的《大腦與行為》一書,認為神經科學裡蘊含著設計數字個體的絕佳靈感。
最後,Karpathy分享了一個極具顛覆性的行業現狀。
當前站在AI智能體能力最前沿的人,毫無疑問是現在正在動手構建智能體的獨立開發者和創業者。OpenAI或DeepMind這類大型語言模型實驗室,目前在智能體賽道上並沒有站在最前沿。
OpenAI非常擅長訓練龐大的Transformer語言模型。如果現在有一篇提出全新Transformer訓練方法的論文發表,OpenAI內部大概率在兩年半前就已經嘗試過,並且清楚地知道成功或失敗的根本原因。大廠在這個領域擁有絕對的技術壁壘。
當一篇關於新型智能體的論文發表時情況完全不同。大廠的團隊同樣會覺得眼前一亮,因為他們並沒有在這個特定分支上秘密研發五年。這意味著巨頭們在這個賽道上必須和所有的基層創業者以及黑客同台競技。
對於現在正在開發智能體的普通開發者來說,你們正處於這項變革性技術的最前沿。
本文來源:AI寒武紀
風險提示及免責條款