لقد صادفت شيئًا يزعجني بشأن أنظمة التعلم الآلي في الإنتاج. الجميع مهووس بقياسات الأداء - الدقة، الاستدعاء، الإيجابية الكاذبة - لكن بحلول الوقت الذي تنخفض فيه تلك القيم، تكون قد وقعت بالفعل في مشكلة. المشكلة الحقيقية تحدث في مرحلة مبكرة، عند طبقة الإدخال.

هناك نهج قرأت عنه يقلب المعادلة تمامًا. بدلاً من مراقبة ما يخرجه النموذج، تراقب ما إذا كانت بيانات الإدخال لا تزال تتصرف كما كانت أثناء التدريب. يبدو بسيطًا، لكن التنفيذ ذكي.

الفكرة الأساسية تستخدم الجيران الأقرب لـ KL divergence لتقدير الكثافة. إليك لماذا يعمل ذلك: تقوم بإنشاء خط أساس من بيانات التدريب الخاصة بك، ثم تقارن باستمرار البيانات الواردة بها باستخدام نافذة منزلقة. عندما يقفز KL divergence فوق الحد الذي حددته، فهذا يعني أن شيئًا ما قد تغير. لا حاجة لافتراضات حول توزيع البيانات، ولا حاجة للتدخل داخل النموذج.

تخيل محرك توصية للتجارة الإلكترونية تم تدريبه على سلوك قبل الجائحة. تتغير تفضيلات العملاء، وتتطور أنماط التسوق، لكن المراقبة التقليدية قد تفوت ذلك لأيام. هذا النهج باستخدام الجيران الأقرب يلتقط التغير على الفور - لم تعد متجهات الميزات تتطابق مع التوزيع الأصلي، ويتم تنبيهك قبل أن تتدهور الأداء فعليًا.

الجانب العملي مهم أيضًا. حجم النافذة المنزلقة مهم - صغيرة جدًا وتطارد الضوضاء، كبيرة جدًا وتفوت التغيرات السريعة. نفس الشيء مع معايرة الحد. أحد الأساليب الجيدة هو أخذ بيانات التدريب المتجانسة الخاصة بك، تقسيمها إلى نوافذ متتالية، حساب KL divergence الزوجية، ثم استخدام النسبة المئوية 95 أو 99 كحد أقصى.

بالنسبة لاختيار قيمة k، الجذر التربيعي لحجم العينة هو نقطة انطلاق معقولة. k الأكبر يجعل تقدير الكثافة أقل حساسية ولكنه أكثر سلاسة. k الأصغر يلتقط الشذوذات، لكنه قد يبالغ في التكيف مع الضوضاء.

على نطاق واسع، يصبح الأمر manageable من خلال استراتيجيات أخذ العينات، ومكتبات nearest neighbors التقريبية مثل Annoy أو Faiss، والمعالجة المتوازية. أنت لا تعيد حساب كل شيء من الصفر - فقط تقوم بتحديث الإحصائيات المتدحرجة بشكل تدريجي.

جمال هذا النهج هو مدى كونه غير مرتبط بالنموذج. يعمل سواء كنت تدير e-commerce recommendation engine بسيطًا أو شيئًا معقدًا. أنت في الأساس تبني نظام إنذار مبكر يلتقط data drift قبل أن يدرك النموذج أن هناك مشكلة. هذا هو نوع الهندسة الدفاعية التي تحافظ على استقرار أنظمة الإنتاج.