Якщо у своєму продакшн-середовищі ви пишете виклики LLM, ви звикли жорстко кодувати назву моделі в коді. При кожній зміні доводиться вручну змінювати код і тестувати.

Спробуйте запустити пропонує стратегічний рівень під час виконання. Не потрібно фіксувати конкретну модель у коді, замість цього кожен запит містить стратегію.

Ця стратегія під час виконання автоматично відфільтровує моделі, які не відповідають правилам, і сортує моделі, що залишилися, наприклад, за ціною. Якщо вибрана модель виклику не вдається, вона автоматично перемикається на наступний прийнятний варіант.

Це схоже на передачу параметра температури у виклику API: рішення про маршрутизацію більше не жорстко закодоване в коді, а є частиною запиту і динамічно визначається під час виконання відповідно до стратегії. Порівняно з жорстким кодуванням моделі в коді або статичною конфігурацією на панелі керування шлюзу, цей підхід забезпечує більшу гнучкість і зменшує потребу в постійному ручному обслуговуванні.