Si vous écrivez des appels LLM en environnement de production, vous avez l'habitude de coder en dur le nom du modèle dans le code. Chaque fois que vous devez le changer, vous devez modifier manuellement le code et effectuer des tests.

Essayez d'utiliser Run qui fournit une couche de stratégie au moment de l'exécution. Il n'exige pas de verrouiller un modèle spécifique dans le code, mais permet à chaque requête d'apporter une stratégie.
Cette stratégie filtrera automatiquement les modèles qui ne respectent pas les règles au moment de l'exécution, et triera les modèles restants qui respectent les règles ; elle peut trier en fonction du prix. Si l'appel du modèle sélectionné échoue, elle passe automatiquement à l'option éligible suivante.
C'est comme si l'on passait un paramètre de température dans un appel API : la décision de routage n'est plus codée en dur dans le code, mais fait partie de la requête et est déterminée de manière dynamique en fonction de la stratégie au moment de l'exécution. Par rapport au fait de coder en dur le modèle dans le code ou de faire une configuration statique dans le tableau de bord de la passerelle, cette approche offre plus de flexibilité et réduit la maintenance manuelle continue.