越來越多研究者認為不夠。上下文學習確實有用，但它本質上是在檢索，不是在學習。想像一個無限大的檔案櫃，什麼都能查到，但它從來沒被迫去理解、去壓縮、去真正內化新知識。對於那些需要真正發現的問題——比如全新的數學證明、對抗性場景，或者那些太隱性、無法用語言表達的知識——光靠檢索肯定不行。

這就是為什麼持續學習這個研究方向越來越受關注。核心問題很簡單：**壓縮發生在哪裡？** 當前的系統把壓縮外包給了提示工程、RAG管道、智能體外殼。但訓練時讓LLM強大的那個機制——有損壓縮、參數級學習——在部署那一刻就被關掉了。

研究界大概分成三條路。一端是情境學習，團隊在優化檢索管線、上下文管理、多智能體架構。這是最成熟的，基礎設施驗證過了，但天花板就是上下文長度。另一端是權重級學習，走的是真正的參數更新——稀疏記憶層、強化學習循環、測試時訓練。中間還有模組化路線，通過可插拔的知識模組實現專業化而不動核心權重。

權重級的研究方向特別多。有正則化方法（EWC那套），有測試時訓練（在推理時做梯度下降），有元學習（訓練模型學會如何學習），還有自蒸餾、遞歸自我改進這些。這些方向正在匯聚，下一代系統很可能會混合多種策略。

但這裡有個關鍵問題：樸素的權重更新在生產環境會出一堆問題。災難性遺忘、時間解耦、邏輯整合失敗，還有遺忘操作根本不可能這種根本性難題。更麻煩的是安全和治理層面——一旦打開訓練和部署的邊界，對齊可能崩塌，資料投毒攻擊面暴露，可審計性沒了，隱私風險加劇。這些都是開放問題，但也都在研究議程裡。

有意思的是，創業生態已經在這些層級上動起來了。情境端有Letta、mem0這類外殼公司在管理上下文策略；參數端有團隊在試驗部分壓縮、RL反饋循環、數據中心方法，還有激進派在重新設計架構本身。沒有哪種方法已經贏出來，考慮到用例的多樣性，可能也不應該只有一個贏家。

從某個角度看，我們現在站在一個轉折點。檢索系統確實強大，但檢索永遠不等於學習。一個真正能在部署後繼續壓縮經驗、內化新知識的模型，會以現有系統做不到的方式產生複利價值。這意味著稀疏架構、後設學習、自我改進循環的進步，也可能意味著我們要重新定義「模型」本身——不是一組固定權重，而是一個演化中的系統。

持續學習的前景就在這裡。檔案櫃再大也只是檔案櫃，突破在於讓模型在部署後做訓練時讓它強大的那件事：壓縮、抽象、真正的學習。否則我們就會困在自己的永恆當下裡。

原文表示

このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております（表明・保証をするものではありません）。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。