Se no seu ambiente de produção escreve chamadas de LLM, tem o hábito de codificar diretamente o nome do modelo no código. Sempre que precisa mudar, tem de alterar manualmente o código e testar.

Pode experimentar executar fornece uma camada de estratégia em tempo de execução. Não exige que bloqueie um modelo específico no código, mas sim que cada pedido inclua uma estratégia.
Esta estratégia filtra automaticamente, em tempo de execução, os modelos que não cumprem as regras, ordena os modelos restantes que cumprem as regras e pode ordená-los por preço. Se o modelo selecionado falhar na chamada, muda automaticamente para a próxima opção qualificada.
É como se passasse o parâmetro de temperatura na chamada da API — a decisão de roteamento deixa de estar codificada no código e passa a fazer parte do pedido, sendo tomada dinamicamente em tempo de execução com base na estratégia. Em comparação com codificar o modelo no código ou fazer configurações estáticas no painel do gateway, esta abordagem oferece mais flexibilidade e reduz a manutenção manual contínua.