給 Agent 調度系統加一個小決策模型
測了一下 Jev,又把我前段時間想給 @holonrun 做的語義調度系統撿了起來。
當時重構 Holon 的調度系統,目標是讓 Agent 可以像人一樣,在多個工作項之間切換:一個工作項需要等待外部流程時,就先切到另一個工作項繼續執行。
但遇到了一些難題,Agent 收到一個輸入後,系統很難只靠靜態規則判斷:
* 這個 GitHub event 應該插入當前 turn,還是進入佇列?
* 它和哪個工作項有關?
* Agent 處於 sleep 狀態時,是否應該被喚醒?
* 一個已經過期的後台任務結果,是否可以直接丟棄?
這些問題本質上不是普通的狀態機判斷,而是語義判斷。每次都調用一次 LLM,成本和延遲又太高。當時我想自己訓練一個分類器來處理這些判斷,但訓練結果不太理想,模型有點保守,為了避免出錯不下結論。也可能是我自己的數據量太小,於是最後作罷,只留了一個 hook,沒有真正實現。
Jev 這種專門做小決策的模型,剛好適合放在這裡。昨天試了一下,效果比預期好,所以我準備重新啟動這個方案,再測試觀察一段時間,後面再出個詳細的報告給大家。
我感覺各大廠很快會跟進這種方案,估計各家都會帶一個專門的 Decision Model,用來處理這類場景。