Acabei de descobrir algo que tem me incomodado nos sistemas de ML em produção. Todo mundo se obsessiona com métricas de output — precisão, recall, exatidão — mas, quando essas caem, já estamos em apuros. O verdadeiro problema acontece mais cedo, na camada de entrada.

Existe uma abordagem que tenho lido que inverte completamente essa lógica. Em vez de monitorizar o que o modelo produz, você verifica se os seus dados de entrada continuam a se comportar como durante o treino. Parece simples, mas a execução é inteligente.

A ideia central usa vizinhos mais próximos para estimativa de densidade, combinada com divergência de KL. Aqui está o porquê de funcionar: você estabelece uma linha de base a partir dos seus dados de treino, e depois compara continuamente os dados que entram com ela usando uma janela deslizante. Quando a divergência de KL dispara acima do limite, algo mudou. Sem precisar fazer suposições sobre a distribuição dos dados, nem espiar dentro do modelo.

Pense num motor de recomendação de e-commerce treinado com comportamento pré-pandemia. As preferências dos clientes mudam, os padrões de compra evoluem, mas o monitoramento tradicional pode demorar dias para perceber. Essa abordagem de vizinhos mais próximos detecta imediatamente — seus vetores de features deixam de corresponder à distribuição original, e você é alertado antes de o desempenho realmente cair.

O lado prático também importa. O tamanho da janela é importante — muito pequena, você fica perseguindo ruído; muito grande, perde mudanças rápidas. O mesmo vale para a calibração do limiar. Uma abordagem sólida é pegar seus dados homogêneos de treino, dividir em janelas sequenciais, calcular as divergências de KL entre elas, e usar o percentil 95 ou 99 como limite.

Para a escolha do valor de k, a raiz quadrada do tamanho da amostra é um ponto de partida razoável. K maior torna a estimativa de densidade menos sensível, mas mais suave. K menor captura irregularidades, mas corre o risco de overfitting ao ruído.

Em escala, isso fica gerenciável com estratégias de amostragem, bibliotecas de vizinhos mais próximos aproximados como Annoy ou Faiss, e processamento paralelo. Você não precisa recalcular tudo do zero — apenas atualizar as estatísticas de forma incremental.

A beleza dessa abordagem é o quão agnóstica ela é ao modelo. Funciona tanto para um classificador simples quanto para algo mais complexo. Você está, na prática, construindo um sistema de alerta precoce que detecta drift de dados antes mesmo do seu modelo perceber que algo está errado. Esse é o tipo de engenharia defensiva que mantém os sistemas em produção estáveis.