廣場
最新
熱門
新聞
我的主頁
發布
智譜復盤GLM-5「亂碼門」：日均數億次Coding Agent調用，兩個競態bug藏在KV Cache裡
区块律动
2026-04-30 10:52:33
關注
據 動察 Beating 監測，智譜發文復盤 GLM-5 系列模型在 Coding Agent 場景下出現亂碼、復讀和生僻字的問題。3 月起陸續有用戶反饋，異常只在高並發、長上下文（平均超 70K token）的 Coding Agent 任務中觸發，標準推理環境下無法復現。智譜稱其推理系統每天承受數億次 Coding Agent 調用。
經數周排查，團隊定位到兩個相互獨立的底層競態 bug。第一個出在 PD 分離架構（把預填充和解碼拆到不同節點的部署方式）：解碼側超時中止請求後回收了 KV Cache（快取已計算的注意力狀態，避免重複計算），但預填充側的 RDMA 寫入還沒結束，新請求被分配到同一塊顯存，舊數據覆蓋了新數據。修復方法是在回收前加顯式同步，確認寫入完成才釋放。上線後異常率從萬分之十幾降至萬分之三以下。
第二個 bug 出在 HiCache（多級 KV Cache）：從 CPU 內存異步換入快取時，載入和計算兩條流水線之間缺少同步點，計算側可能在數據尚未載入完畢時就開始讀取。修復後該類異常完全消失，補丁已提交 SGLang 社區（PR #22811）。
排查過程中還有一個意外發現：投機採樣（先用小模型猜 token 再由大模型驗證的加速技術）的接受率指標可以當異常檢測信號。亂碼時草稿 token 幾乎全被拒絕，復讀時接受率異常偏高。團隊據此做了線上監控：觸發閾值就自動中止生成並重試。
在修完 bug 之後，團隊還針對瓶頸做了一個優化：LayerSplit KV Cache 分層存儲，每張 GPU 只存部分層的 KV Cache 而非全量，通過廣播協同計算。在 90% 快取命中率下，請求長度從 40K 到 120K 區間，吞吐提升 10% 到 132%，上下文越長收益越大。
查看原文
此頁面可能包含第三方內容，僅供參考（非陳述或保證），不應被視為 Gate 認可其觀點表述，也不得被視為財務或專業建議。詳見
聲明
。
打賞
按讚
回覆
轉發
分享
回覆
請輸入回覆內容
請輸入回覆內容
回覆
暫無回覆
熱門話題
查看更多
#
GT二季度銷毀257萬枚
12.23萬 熱度
#
預測世界盃葡萄牙VS西班牙
25.64萬 熱度
#
gStocks代幣化股票上線
487.68萬 熱度
#
比特幣巨鯨兩週狂掃27萬枚BTC
6.68萬 熱度
#
USD1鏈上質押享年化8.26%
105.6萬 熱度
已置頂
網站地圖
智譜復盤GLM-5「亂碼門」：日均數億次Coding Agent調用，兩個競態bug藏在KV Cache裡
經數周排查，團隊定位到兩個相互獨立的底層競態 bug。第一個出在 PD 分離架構（把預填充和解碼拆到不同節點的部署方式）：解碼側超時中止請求後回收了 KV Cache（快取已計算的注意力狀態，避免重複計算），但預填充側的 RDMA 寫入還沒結束，新請求被分配到同一塊顯存，舊數據覆蓋了新數據。修復方法是在回收前加顯式同步，確認寫入完成才釋放。上線後異常率從萬分之十幾降至萬分之三以下。
第二個 bug 出在 HiCache（多級 KV Cache）：從 CPU 內存異步換入快取時，載入和計算兩條流水線之間缺少同步點，計算側可能在數據尚未載入完畢時就開始讀取。修復後該類異常完全消失，補丁已提交 SGLang 社區（PR #22811）。
排查過程中還有一個意外發現：投機採樣（先用小模型猜 token 再由大模型驗證的加速技術）的接受率指標可以當異常檢測信號。亂碼時草稿 token 幾乎全被拒絕，復讀時接受率異常偏高。團隊據此做了線上監控：觸發閾值就自動中止生成並重試。
在修完 bug 之後，團隊還針對瓶頸做了一個優化：LayerSplit KV Cache 分層存儲，每張 GPU 只存部分層的 KV Cache 而非全量，通過廣播協同計算。在 90% 快取命中率下，請求長度從 40K 到 120K 區間，吞吐提升 10% 到 132%，上下文越長收益越大。