Acabo de encontrar algo que me ha estado molestando en los sistemas de ML en producción. Todos obsesionados con las métricas de salida — precisión, recall, exactitud — pero para cuando esas bajan, ya estás en problemas. El verdadero problema sucede antes, en la capa de entrada.

Hay un enfoque del que he estado leyendo que invierte completamente la perspectiva. En lugar de observar lo que el modelo produce, monitoreas si tus datos de entrada siguen comportándose como durante el entrenamiento. Suena simple, pero la ejecución es inteligente.

La idea central usa vecinos más cercanos para estimación de densidad combinada con divergencia KL. Aquí está por qué funciona: estableces una línea base a partir de tus datos de entrenamiento, y luego comparas continuamente los datos entrantes contra ella usando una ventana deslizante. Cuando la divergencia KL se dispara por encima de tu umbral, algo ha cambiado. No se necesitan suposiciones sobre la distribución de los datos, ni mirar dentro del modelo.

Piensa en un motor de recomendaciones de comercio electrónico entrenado con comportamiento pre-pandemia. Las preferencias de los clientes cambian, los patrones de compra evolucionan, pero la monitorización tradicional podría no detectarlo durante días. Este enfoque de vecinos más cercanos lo detecta de inmediato: tus vectores de características ya no coinciden con la distribución original, y se marca antes de que el rendimiento realmente se desplome.

Lo práctico también importa. El tamaño de la ventana es clave: muy pequeña y persigues ruido, muy grande y pierdes cambios rápidos. Lo mismo con la calibración del umbral. Una estrategia sólida es tomar tus datos de entrenamiento homogéneos, dividirlo en ventanas secuenciales, calcular las divergencias KL entre pares, y usar el percentil 95 o 99 como umbral.

Para la selección del valor de k, la raíz cuadrada del tamaño de tu muestra es un punto de partida razonable. Un k mayor hace que la estimación de densidad sea menos sensible pero más suave. Un k menor detecta irregularidades, pero corre el riesgo de sobreajustarse al ruido.

A escala, esto se vuelve manejable mediante estrategias de muestreo, bibliotecas de vecinos aproximados como Annoy o Faiss, y procesamiento paralelo. No estás recalculando todo desde cero: solo actualizas las estadísticas de forma incremental.

Lo hermoso de este enfoque es cuán independiente del modelo es. Funciona tanto si tienes un clasificador simple como si tienes algo complejo. Es, en esencia, un sistema de advertencia temprana que detecta cambios en los datos antes de que tu modelo se dé cuenta de que algo va mal. Ese es el tipo de ingeniería defensiva que mantiene los sistemas en producción estables.