智能体正在耗尽你的使用额度吗?
如果是,那你应该把决策模型纳入你的例行任务中
让我们将例行任务的 token 消耗减少 90% 以上,并更频繁地运行例行任务
让我来解释一下
智能体最有用的功能之一,就是“唤醒”并帮你检查情况,然后根据发现采取行动
这正是它们能主动做事、让你觉得它们在为你工作而不只是你使用的工具的原因
我们以前称它们为 cron jobs,但后来有人聪明地把它们重新命名为例行任务——好得多
智能体唤醒并运行例行任务的频率称为“心跳”,每次唤醒时,它都必须读取大量上下文,并且可能调用工具——这会消耗很多 token
每当它唤醒后发现没有任何需要采取行动的事情时,所有这些 token 就都浪费了
让你的智能体估算一下每次运行例行任务会使用多少 token——可能是 15-40k,如果你频繁运行大量例行任务,消耗真的会累积起来
所以,当我看到有人抱怨达到使用额度上限时,一个很大的原因可能就是例行任务,以及唤醒过程中消耗的 token
我的设置里有很多例行任务,为了避免达到额度上限,我一直在尝试使用便宜得多的决策模型,比如 Jev,来检查状态,并且只有在确实发生了什么事情时才唤醒昂贵的 LLM 智能体模型
差别大概是用超便宜模型消耗 1-5k token,而用昂贵模型消耗 15-40k token
累计一个月下来,差别可能很大
把宝贵的使用额度留给需要采取行动的时候,而不是