代理程式是不是正在耗盡你的使用量限制?
如果是,那你應該把決策模型納入你的例行工作中
讓我們將例行工作的 Token 消耗量降低 90% 以上,並更頻繁地執行例行工作
讓我來說明
代理程式最有用的功能之一,就是「喚醒」並替你檢查事情,然後根據發現採取行動
這正是讓它們變得積極主動,讓你覺得它們是在替你工作,而不只是你使用的工具
我們以前稱它們為 cron jobs,不過有人很聰明地把它們重新命名為例行工作——好多了
代理程式喚醒並執行例行工作的頻率稱為「心跳」,每次喚醒時,都必須讀取一堆上下文,還可能呼叫工具——這會消耗很多 Token
每當它喚醒後發現沒有任何需要採取行動的事情時,這些 Token 就全都浪費了
請代理程式估算每次執行例行工作會用掉多少 Token——大概是 1.5 萬到 4 萬,如果你經常執行很多例行工作,消耗量真的會累積起來
所以,當我看到有人抱怨觸及使用量限制時,很可能一大原因就是例行工作,以及喚醒過程中消耗的 Token
我的設定裡有非常多例行工作,為了避免觸及使用量限制,我一直在嘗試使用便宜得多的決策模型,例如 Jev,來檢查狀態,只有在真的發生狀況時才喚醒昂貴的 LLM 代理程式模型
兩者的差異大概是:使用超便宜模型消耗 1000 到 5000 個 Token,對比使用昂貴模型消耗 1.5 萬到 4 萬個 Token
累積一個月下來,差異可能很大
把寶