讓大型 AI 模型更容易在家用電腦上使用

超過三個月以來，我一直默默研究降低運行非常大型 AI 模型所需的硬體與記憶體負擔的方法——特別是像 GLM-5.2 這類普通家用電腦上的混合專家（mixture-of-experts）模型。
這項工作是我電腦科學碩士學位的一部分，而早期結果令人鼓舞。
我現在已經有一個可運作的原型，並計畫很快分享更多細節。
目標並不只是製作模型的更小版本，或宣稱數以百億計的參數能神奇地塞進消費級 GPU。
完整模型仍然可用，但系統會嘗試只載入、保留並傳遞目前推論階段所需的元件。
我的研究包含以下面向：
動態專家常駐（Dynamic expert residency）
預測式專家預取（Predictive expert prefetching）
跨 VRAM、系統 RAM 與 NVMe 儲存的階層式載入（Hierarchical loading）
具快取意識的路由（Cache-aware routing）
減少不必要的參數移動
根據可用硬體調整執行路徑（Adapting the execution path）
我最近看到另一個朝類似方向探索的專案，這也鼓勵我把自己的研究公開。
不過，我認為目前一些做法可能低估了真實的推論負載。
僅計算分配給作用中專家的參數，並不能代表完整的推論成本。共享層、注意力狀態、KV cache、路由決策、專家切換、記憶體頻寬、頁面錯誤，以及 CPU-to-GPU 同步，都可能成為主要瓶頸。
當只量測作用中參數時，系統看起來可能很有效率；但在真實的端到端推論中可能仍表現很差，因為它反覆在儲存裝置、RAM 與 VRAM 之間傳輸資料。
因此，我的方法不只是著眼於選擇更少的專家。
它也考量模型元件應該放在哪裡、何時需要移動、哪些應保留在快取中，並且在不載入模型不必要部分的前提下，如何預測接下來的需求。
研究仍在進行中，還有更多測試需要完成。不過，迄今的結果顯示，可能存在一條可行路徑：在消費級硬體上以顯著較低的峰值記憶體壓力來運行更大型的模型。
原型已能運作，儘管它仍屬於實驗性，並需要在不同硬體配置下進一步最佳化、驗證與測試。
我打算很快分享該原型，或至少分享它的早期公開示範。
實驗正在產出令人鼓舞的結果。
而我相信，家用電腦上的大型模型推論可以比今天更顯著地有效率。
更多內容將很快分享。#AI