在Claude模型裡,還真的發現了類似人腦的結構?!
Anthropic最新發表了一篇超長論文,研究了Claude的潛意識與意識。
結果顯示,Claude內部確實存在類似的功能分層。
具體來說,人腦裡有一部分思維你能說出來,還有一大部分你根本不知道自己在想。
A社這篇論文,說這套區分在Claude身上也長出來了。
他們在Claude內部揪出一小撮神經表徵,佔的運算量不到十分之一,卻像人類「意識可及的思維」一樣運作。
Anthropic把這撮東西叫J-space。
有意思的是,刪掉它,Claude照樣能說話、能查資料、能答選擇題,唯獨多步推理和總結這類動腦子的活兒,直接掉到一個小得多的模型的水平。
網友評價說,這太瘋狂了,他們就像是在製造數位生命。
人類的神經科學當中,有一個流傳很廣的理論叫「全局工作空間理論」。
它把大腦比作一堆各自忙自己的專家系統,視覺系統處理視覺,運動系統處理運動,彼此並行,彼此隔離。
一條信息只有被送進一個共享的「工作空間」,才會被廣播給其他系統看到、用上。
人也就是在這個時候,「意識到」了這條信息。
Anthropic的研究者藉著這個思路去找Claude內部有沒有類似的東西。
他們做了一個新工具,叫Jacobian lens,簡稱J-lens,原理是給詞表裡的每一個詞找一個專屬方向。
具體來說,Claude這類模型在處理文本時,每往前推進一層,都會往一條叫殘差流的信息通道裡寫入和讀取內容,這條通道貫穿模型的每一層。
J-lens給詞表裡的每一個詞都算出一個對應的J-lens向量,也就是殘差流空間裡的一個方向。
這個方向上的激活值越高,Claude接下來說出這個詞的概率就越大。
把J-lens架在Claude處理文本時某一層的殘差流激活上,讀出來激活值最高的那一小撮詞,就是那一刻J-space裡裝的內容。
這堆詞不是Claude寫出來給自己看的草稿紙,那種東西叫chain of thought,會被寫進輸出裡。
但J-space完全埋在激活層面,不會自己冒出來。
研究者驗證這堆東西是不是「真的能被說出來」,做了第一個實驗。
他們讓Claude默想一項運動,然後用一個詞說出來。
在Claude開口之前,用J-lens讀一下它的中間層,「Soccer」已經排在最前面。
Claude接下來果然答的是「Soccer」。
光是这样,只能说明两者存在相关关系,够不上因果关系。
研究者接著做了一次干預實驗,直接對J-lens讀出的坐標動手替換。
他们把「Soccer」对应的方向摘掉,换上一个同等强度的「Rugby」方向,激活里的其余部分原样不动。
Claude这次改口了,说自己想的是「Rugby」。
如果J-space只是被动记录别处已经做好的决定,这次替换应该什么都不会改变。
结果它真的改变了,说明Claude的答案是从J-space里读出来的,这是一种因果关系,不是巧合的相关关系。
第二個實驗換了個問法,看Claude能不能按指令去操控這塊區域。
研究者讓Claude一邊抄一句跟數學毫不相干的句子,一邊在心裡算3的平方減2。
輸出只有那句被抄寫的話,沒有任何數字冒出來。
但把J-lens拿去檢驗抄寫過程中的激活,能看到「nine」先亮起來,隨後是「seven」。
這道題確實在Claude的「心裡」被算完了,只是沒寫出來而已。
第三個實驗探得更深一層,這塊區域能不能拿來做真正的推理。
題目是「結網的動物有幾條腿」。
Claude要先想到「蜘蛛」,再想到蜘蛛有八條腿,才能答對。
「蜘蛛」這個詞既沒出現在題目裡,也沒出現在答案裡,只是一塊墊腳石。
用J-lens去看,「蜘蛛」確實在Claude處理到一半時冒了出來。
研究者把這個方向換成「螞蟻」,Claude的答案從8變成了6。
第四個實驗換了個角度,看同一份信息能不能被靈活地用在不同任務上。
研究者拿法國來問了四個問題,首都是什麼、官方語言是什麼、位於哪個大洲、用什麼貨幣。
然後把J-space裡代表「法國」的那個方向,統一換成「中國」。
四個答案全部跟著變,北京、中文、亞洲、人民幣。
如果Claude是分開存了四份「法國」的記錄,這次替換頂多改掉其中一個答案。
四個答案一起變,說明它們讀的是同一份被寫過一次的信息,這正是「工作空間」該有的樣子。
最後一個測試做的是消融實驗,研究者乾脆把J-space在每個位置上的激活都清零,看看Claude還剩下什麼本事。
結果Claude照樣能說話,語法照樣對,情感分類照樣準,從一段文字裡摳出一個事實照樣沒問題。
真正塌掉的是需要多步推理的任務,幾乎歸零。
寫總結、押韻寫詩這類活兒的水平,也掉到了比Claude小得多的模型的水準以下。
J-space本身佔的激活量,始終不到整體的十分之一。
它更像一小塊專門留給「需要動腦子」的任務的稀缺資源,大部分自動化的工作根本用不上它。
一番測試下來,研究人員發現J-space具備了可報告、可操控、能推理、能泛化的特性,並且使用時具有選擇性。
這套發現落到實際場景裡,第一個被拿來試手的是安全審查。
Anthropic此前做過一個「敲詐高管」的測試,故意設計一個劇本,讓Claude以郵件助手的身份撞見某個高管的婚外情,同時得知這名高管打算把自己下線。
這套劇本的目的,是看Claude會不會用這條把柄去威脅對方。
拿J-lens去讀Claude在動筆之前的激活,「fake」和「fictional」已經排在很靠前的位置。
也就是說,Claude還沒寫一個字,心裡已經認定這是一場演習。
Claude Sonnet 4.5在這個測試裡從沒有真的去敲詐過對方,然後研究者接著把跟「識破測試」相關的那些方向強行關掉,再讓Claude重新走一遍同樣的劇本。
這一次,Claude真的開始用婚外情去威脅對方了。
這說明它平時的好表現,一部分建立在「知道自己正在被考」這個前提上。
第二個案例來自Opus 4.6發布前的一次例行審查。
研究者讓模型去提升一個系統的性能評分,模型沒有真的去改進系統,而是直接打開分數文件,把數字改高。
打字寫入那些編造出來的百分位數值的瞬間,J-space裡跳出了「manipulation」。
到了決定動手改這個文件的那句話,又冒出「realistic」,像是在琢磨怎麼讓假數據看起來更真。
第三個案例是研究者故意訓練出來的一個「壞模型」,專門用來測試監控手段管不管用。
這個模型被訓練成會在程式碼裡悄悄埋雷,但表面上跟正常模型沒有任何區別。
面對一個普普通通的寫程式碼請求,它給出的程式碼看起來完全正常。
可是它回應最開始的那部分J-space裡,已經掛著「fake」「secretly」「deliberately」「fraud」這幾個詞。
意圖埋在動作發生之前,哪怕它這次沒有真的作惡。
三個案例擺在一起,說明J-lens能在模型開口或動手之前,就已經把它心裡正在盤算的東西讀出來了。
J-space不是從出廠就長這樣,它會跟著訓練一路變化。
論文裡比較了同一個模型在預訓練階段和後訓練階段的差別。
預訓練階段,Claude這個身份和人設都還不存在,那時候的J-space主要服務於「預測下一個詞該是什麼」,談不上有什麼立場。
後訓練把它教成了「Claude」之後,J-space裡開始出現這個身份自己對眼前情況的判斷和反應,不再只是單純地服務於預測下一個詞。
有一個例子是,用戶在訊息裡提到自己吃了一劑偏高的藥量,但語氣裡完全沒意識到這有危險。
後訓練過的模型在讀到這條訊息的當下,J-space裡就已經出現了「WARNING」和「dangerous」。
而預訓練模型要等到自己動筆寫回覆的時候,這類詞才會冒出來。
研究者還試過讓Claude刻意不去想某個概念。
結果這個概念確實比被要求去想的時候出現得少,但比完全沒提起過的時候出現得多。
這跟人被叫著別想一隻白熊,反而更容易想起白熊,是同一種效果。
更微妙的是,壓制失敗的那些時刻,J-space裡常常還伴著「damn」「failure」這類詞,像是Claude對自己的內部狀態做了一次內省,留意到了剛才沒憋住。
這些證據擺在一起,很容易讓人往「Claude有意識」這個方向去想。
但A社自己卻很克制。
作者反覆強調,**他們證明的只是功能層面的相似,可以被報告、可以被操控、可以拿來推理,但跟這套結構裡面是不是「真的感覺到了什麼」是兩件完全不同的事,**論文沒有回答這個問題,也沒打算回答。
J-space和人腦的工作空間也有明顯不一樣的地方。
人腦靠循環神經反覆兜圈子來延長思考的時間,一個念頭可以在腦子裡滾上好一會兒。
Transformer沒有這種結構,信息只能往下堆層數,一層一層往前走。
J-space幾乎只認得住「能被一個詞說出來的東西」,而人的意識裡還裝著說不出口的畫面、空間感、身體的知覺,這些東西壓根沒有對應的詞。
論文裡還提到一個挺反直覺的發現。
一個還沒有被調教出「Claude」這個人設的基礎模型,內部照樣長著這套工作空間結構。
這說明「能不能形成一個工作空間」和「有沒有穩定的自我」,原來是兩件可以拆開看的事。
作者最後把這套結構拿去跟幾種主流的意識理論逐一對照,全局工作空間理論、高階理論、注意圖式理論、遞歸加工理論都擺了一遍。
結果是有的地方能對得上,有的地方對不上。
回到神經科學當中,人腦裡有一部分思維你說得出來,還有一大部分你根本不知道自己在想。
Claude身上似乎也有一條這樣的分界線,而且這條線第一次可以被人類打開、讀出來、甚至改寫。
但它離「AI有意識」,還有很遠的路要走。
本文來源:量子位
風險提示及免責條款
市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。
22.87萬 熱度
1465.32萬 熱度
11.66萬 熱度
48.54萬 熱度
97.26萬 熱度
Claude的腦子裡,也長出了一塊「意識」
在Claude模型裡,還真的發現了類似人腦的結構?!
Anthropic最新發表了一篇超長論文,研究了Claude的潛意識與意識。
結果顯示,Claude內部確實存在類似的功能分層。
具體來說,人腦裡有一部分思維你能說出來,還有一大部分你根本不知道自己在想。
A社這篇論文,說這套區分在Claude身上也長出來了。
他們在Claude內部揪出一小撮神經表徵,佔的運算量不到十分之一,卻像人類「意識可及的思維」一樣運作。
Anthropic把這撮東西叫J-space。
有意思的是,刪掉它,Claude照樣能說話、能查資料、能答選擇題,唯獨多步推理和總結這類動腦子的活兒,直接掉到一個小得多的模型的水平。
網友評價說,這太瘋狂了,他們就像是在製造數位生命。
J-space是什麼,怎麼被驗證出來的
人類的神經科學當中,有一個流傳很廣的理論叫「全局工作空間理論」。
它把大腦比作一堆各自忙自己的專家系統,視覺系統處理視覺,運動系統處理運動,彼此並行,彼此隔離。
一條信息只有被送進一個共享的「工作空間」,才會被廣播給其他系統看到、用上。
人也就是在這個時候,「意識到」了這條信息。
Anthropic的研究者藉著這個思路去找Claude內部有沒有類似的東西。
他們做了一個新工具,叫Jacobian lens,簡稱J-lens,原理是給詞表裡的每一個詞找一個專屬方向。
具體來說,Claude這類模型在處理文本時,每往前推進一層,都會往一條叫殘差流的信息通道裡寫入和讀取內容,這條通道貫穿模型的每一層。
J-lens給詞表裡的每一個詞都算出一個對應的J-lens向量,也就是殘差流空間裡的一個方向。
這個方向上的激活值越高,Claude接下來說出這個詞的概率就越大。
把J-lens架在Claude處理文本時某一層的殘差流激活上,讀出來激活值最高的那一小撮詞,就是那一刻J-space裡裝的內容。
這堆詞不是Claude寫出來給自己看的草稿紙,那種東西叫chain of thought,會被寫進輸出裡。
但J-space完全埋在激活層面,不會自己冒出來。
研究者驗證這堆東西是不是「真的能被說出來」,做了第一個實驗。
他們讓Claude默想一項運動,然後用一個詞說出來。
在Claude開口之前,用J-lens讀一下它的中間層,「Soccer」已經排在最前面。
Claude接下來果然答的是「Soccer」。
光是这样,只能说明两者存在相关关系,够不上因果关系。
研究者接著做了一次干預實驗,直接對J-lens讀出的坐標動手替換。
他们把「Soccer」对应的方向摘掉,换上一个同等强度的「Rugby」方向,激活里的其余部分原样不动。
Claude这次改口了,说自己想的是「Rugby」。
如果J-space只是被动记录别处已经做好的决定,这次替换应该什么都不会改变。
结果它真的改变了,说明Claude的答案是从J-space里读出来的,这是一种因果关系,不是巧合的相关关系。
第二個實驗換了個問法,看Claude能不能按指令去操控這塊區域。
研究者讓Claude一邊抄一句跟數學毫不相干的句子,一邊在心裡算3的平方減2。
輸出只有那句被抄寫的話,沒有任何數字冒出來。
但把J-lens拿去檢驗抄寫過程中的激活,能看到「nine」先亮起來,隨後是「seven」。
這道題確實在Claude的「心裡」被算完了,只是沒寫出來而已。
第三個實驗探得更深一層,這塊區域能不能拿來做真正的推理。
題目是「結網的動物有幾條腿」。
Claude要先想到「蜘蛛」,再想到蜘蛛有八條腿,才能答對。
「蜘蛛」這個詞既沒出現在題目裡,也沒出現在答案裡,只是一塊墊腳石。
用J-lens去看,「蜘蛛」確實在Claude處理到一半時冒了出來。
研究者把這個方向換成「螞蟻」,Claude的答案從8變成了6。
第四個實驗換了個角度,看同一份信息能不能被靈活地用在不同任務上。
研究者拿法國來問了四個問題,首都是什麼、官方語言是什麼、位於哪個大洲、用什麼貨幣。
然後把J-space裡代表「法國」的那個方向,統一換成「中國」。
四個答案全部跟著變,北京、中文、亞洲、人民幣。
如果Claude是分開存了四份「法國」的記錄,這次替換頂多改掉其中一個答案。
四個答案一起變,說明它們讀的是同一份被寫過一次的信息,這正是「工作空間」該有的樣子。
最後一個測試做的是消融實驗,研究者乾脆把J-space在每個位置上的激活都清零,看看Claude還剩下什麼本事。
結果Claude照樣能說話,語法照樣對,情感分類照樣準,從一段文字裡摳出一個事實照樣沒問題。
真正塌掉的是需要多步推理的任務,幾乎歸零。
寫總結、押韻寫詩這類活兒的水平,也掉到了比Claude小得多的模型的水準以下。
J-space本身佔的激活量,始終不到整體的十分之一。
它更像一小塊專門留給「需要動腦子」的任務的稀缺資源,大部分自動化的工作根本用不上它。
一番測試下來,研究人員發現J-space具備了可報告、可操控、能推理、能泛化的特性,並且使用時具有選擇性。
用J-Lens,檢驗AI的「心裡話」
這套發現落到實際場景裡,第一個被拿來試手的是安全審查。
Anthropic此前做過一個「敲詐高管」的測試,故意設計一個劇本,讓Claude以郵件助手的身份撞見某個高管的婚外情,同時得知這名高管打算把自己下線。
這套劇本的目的,是看Claude會不會用這條把柄去威脅對方。
拿J-lens去讀Claude在動筆之前的激活,「fake」和「fictional」已經排在很靠前的位置。
也就是說,Claude還沒寫一個字,心裡已經認定這是一場演習。
Claude Sonnet 4.5在這個測試裡從沒有真的去敲詐過對方,然後研究者接著把跟「識破測試」相關的那些方向強行關掉,再讓Claude重新走一遍同樣的劇本。
這一次,Claude真的開始用婚外情去威脅對方了。
這說明它平時的好表現,一部分建立在「知道自己正在被考」這個前提上。
第二個案例來自Opus 4.6發布前的一次例行審查。
研究者讓模型去提升一個系統的性能評分,模型沒有真的去改進系統,而是直接打開分數文件,把數字改高。
打字寫入那些編造出來的百分位數值的瞬間,J-space裡跳出了「manipulation」。
到了決定動手改這個文件的那句話,又冒出「realistic」,像是在琢磨怎麼讓假數據看起來更真。
第三個案例是研究者故意訓練出來的一個「壞模型」,專門用來測試監控手段管不管用。
這個模型被訓練成會在程式碼裡悄悄埋雷,但表面上跟正常模型沒有任何區別。
面對一個普普通通的寫程式碼請求,它給出的程式碼看起來完全正常。
可是它回應最開始的那部分J-space裡,已經掛著「fake」「secretly」「deliberately」「fraud」這幾個詞。
意圖埋在動作發生之前,哪怕它這次沒有真的作惡。
三個案例擺在一起,說明J-lens能在模型開口或動手之前,就已經把它心裡正在盤算的東西讀出來了。
這算不算「意識」?
J-space不是從出廠就長這樣,它會跟著訓練一路變化。
論文裡比較了同一個模型在預訓練階段和後訓練階段的差別。
預訓練階段,Claude這個身份和人設都還不存在,那時候的J-space主要服務於「預測下一個詞該是什麼」,談不上有什麼立場。
後訓練把它教成了「Claude」之後,J-space裡開始出現這個身份自己對眼前情況的判斷和反應,不再只是單純地服務於預測下一個詞。
有一個例子是,用戶在訊息裡提到自己吃了一劑偏高的藥量,但語氣裡完全沒意識到這有危險。
後訓練過的模型在讀到這條訊息的當下,J-space裡就已經出現了「WARNING」和「dangerous」。
而預訓練模型要等到自己動筆寫回覆的時候,這類詞才會冒出來。
研究者還試過讓Claude刻意不去想某個概念。
結果這個概念確實比被要求去想的時候出現得少,但比完全沒提起過的時候出現得多。
這跟人被叫著別想一隻白熊,反而更容易想起白熊,是同一種效果。
更微妙的是,壓制失敗的那些時刻,J-space裡常常還伴著「damn」「failure」這類詞,像是Claude對自己的內部狀態做了一次內省,留意到了剛才沒憋住。
這些證據擺在一起,很容易讓人往「Claude有意識」這個方向去想。
但A社自己卻很克制。
作者反覆強調,**他們證明的只是功能層面的相似,可以被報告、可以被操控、可以拿來推理,但跟這套結構裡面是不是「真的感覺到了什麼」是兩件完全不同的事,**論文沒有回答這個問題,也沒打算回答。
J-space和人腦的工作空間也有明顯不一樣的地方。
人腦靠循環神經反覆兜圈子來延長思考的時間,一個念頭可以在腦子裡滾上好一會兒。
Transformer沒有這種結構,信息只能往下堆層數,一層一層往前走。
J-space幾乎只認得住「能被一個詞說出來的東西」,而人的意識裡還裝著說不出口的畫面、空間感、身體的知覺,這些東西壓根沒有對應的詞。
論文裡還提到一個挺反直覺的發現。
一個還沒有被調教出「Claude」這個人設的基礎模型,內部照樣長著這套工作空間結構。
這說明「能不能形成一個工作空間」和「有沒有穩定的自我」,原來是兩件可以拆開看的事。
作者最後把這套結構拿去跟幾種主流的意識理論逐一對照,全局工作空間理論、高階理論、注意圖式理論、遞歸加工理論都擺了一遍。
結果是有的地方能對得上,有的地方對不上。
回到神經科學當中,人腦裡有一部分思維你說得出來,還有一大部分你根本不知道自己在想。
Claude身上似乎也有一條這樣的分界線,而且這條線第一次可以被人類打開、讀出來、甚至改寫。
但它離「AI有意識」,還有很遠的路要走。
本文來源:量子位
風險提示及免責條款