إذا كنت في بيئة الإنتاج تكتب استدعاءات LLM، فمن المعتاد أن تقوم بتشفير اسم النموذج بشكل ثابت في الكود. في كل مرة تحتاج إلى التغيير، عليك تعديل الكود واختباره يدويًا.

يمكنك تجربة تشغيل توفر طبقة استراتيجية في وقت التشغيل. لا تتطلب تثبيت نموذج معين في الكود، بل تجعل كل طلب يحمل استراتيجية.
هذه الاستراتيجية تقوم تلقائيًا في وقت التشغيل بتصفية النماذج التي لا تتوافق مع القواعد، وترتيب النماذج المتبقية المتوافقة، ويمكن ترتيبها حسب السعر. إذا فشل استدعاء النموذج المحدد، يمكنه التبديل تلقائيًا إلى الخيار المناسب التالي.
هذا يعادل تمرير معامل درجة الحرارة في استدعاء API، حيث لم يعد قرار التوجيه مكتوبًا بشكل ثابت في الكود، بل يصبح جزءًا من الطلب، ويتم اتخاذه ديناميكيًا بناءً على الاستراتيجية في وقت التشغيل. مقارنة بتشفير النموذج بشكل ثابت في الكود، أو إجراء تكوين ثابت في لوحة تحكم البوابة، فإن هذه الطريقة توفر مرونة أكبر وتقلل من الصيانة اليدوية المستمرة.