如果你在生产环境里写 LLM 调用，习惯直接把模型的名称硬编码在代码里。每次更换的时候都得手动改代码和测试。

可以试试运行 提供了一种运行时的策略层。不要求在代码里锁定某个模型，而是让每次请求都携带一份策略。
这个策略会在运行时自动过滤掉不符合规则的模型，对剩下符合规则的模型排序，可以根据价格排序。如果选中的模型调用失败，能自动切换到下一个合格选项。
相当于在 API 调用里传入了温度参数一样，路由决策不再写死在代码里，而是作为请求的一部分，在运行时根据策略动态决定。相对于把模型硬编码在代码中、或者在网关仪表盘里做静态配置相比，这种方式让更有灵活性，也减少了持续的手动维护。