Jika Anda menulis panggilan LLM di lingkungan produksi, Anda biasanya langsung meng-hardcode nama model di kode. Setiap kali mengganti, Anda harus mengubah kode dan menguji secara manual.

Anda dapat mencoba menjalankan yang menyediakan lapisan strategi runtime. Tidak mengharuskan mengunci model tertentu di kode, melainkan setiap permintaan membawa strategi.
Strategi ini secara otomatis menyaring model yang tidak sesuai aturan saat runtime, mengurutkan model yang tersisa yang sesuai aturan, dapat diurutkan berdasarkan harga. Jika model yang dipilih gagal dipanggil, secara otomatis beralih ke opsi yang memenuhi syarat berikutnya.
Setara dengan memasukkan parameter suhu dalam panggilan API, keputusan routing tidak lagi di-hardcode di kode, tetapi sebagai bagian dari permintaan, secara dinamis ditentukan oleh strategi saat runtime. Dibandingkan dengan meng-hardcode model di kode, atau melakukan konfigurasi statis di dasbor gateway, cara ini memberikan lebih banyak fleksibilitas dan mengurangi pemeliharaan manual yang berkelanjutan.