Processo de seleção de ETFs e pontos-chave principais

• 一、Obtenção de dados básicos e filtragem inicial

Obter lista de ETFs: através do get_all_securities([‘etf’]) obter todos os ETFs do mercado, filtrando aqueles fundados antes de 1 de janeiro de 2013 (start_date < 2023-01-01), garantindo dados históricos suficientes.
Excluir ETFs de baixa liquidez: remover manualmente ETFs com volume médio de negociação muito baixo (por exemplo, 159003.XSHE ETF Rápido de Investimento da China Merchants, 159005.XSHE ETF Rápido de Investimento de Huitianfu, etc., volume médio ≤ 2,92 kw).

• 二、Dados diários de ETFs e cálculo de retorno
  Período de dados: obter preços de fechamento dos últimos 240 dias de negociação até a data atual (today).
  Processamento de retorno: calcular o retorno diário (pchg = close.pct_change()), formando uma matriz de retornos de ETFs (prices, linhas = dias de negociação, colunas = códigos de ETF).
• 三, Agrupamento K-Means para remoção de duplicatas (com base na similaridade de tendência)
  Objetivo do agrupamento: agrupar ETFs com tendências semelhantes, reduzindo redundância de ativos.
  Configuração dos parâmetros: número de clusters n_clusters=30 (evitar poucos clusters que possam agrupar ETFs não semelhantes), usando algoritmo KMeans, com semente aleatória random_state=42.
  Seleção dentro do cluster: manter apenas o ETF mais antigo de cada cluster, pois:
  Fundado mais cedo → geralmente maior volume de negociação (melhor liquidez);
  Fundado mais cedo → mais dados históricos (útil para treinamento de modelos).
• 四、Avaliação do agrupamento com índice de silhueta
  Calcular o índice de silhueta do agrupamento: 0.4511880967361387 (nível médio, indica que a coesão dentro do cluster e a separação entre clusters estão razoáveis, mas podem ser otimizadas).
• 五, Segunda filtragem por correlação (para reduzir ainda mais a correlação)
  Matriz de correlação: calcular a matriz de correlação dos retornos dos ETFs (corr = prices[df.code].corr()).
  Para pares com alta correlação: selecionar pares com correlação > 0,85, mantendo apenas o ETF mais antigo de cada par, removendo os demais (exemplo: remover 159922.XSHE, 512100.XSHG, etc.).
• 六、Opcional: filtrar ETFs fundados mais recentemente (para melhorar a qualidade dos dados)
  Definir limite: remover ETFs fundados após 2020 (exemplo: 513060.XSHG ETF Hang Seng Healthcare, 515790.XSHG ETF Fotovoltaico, etc.), garantindo que os ETFs restantes tenham dados históricos mais completos (útil para treinamento de modelos).
• 七、Cuidados e recomendações adicionais
  ETFs de títulos do governo: se usados para treinamento de modelos, remover o 511010.XSHE ETF de títulos do governo, pois seu comportamento é quase linear (semelhante ao Yu’e Bao), com pouca volatilidade, o que pode interferir na aprendizagem de características de volatilidade, além de não necessitar de previsão.
  Seleção de ETFs em queda: o resultado pode incluir ETFs em queda de longo prazo (como ETFs de saúde, imobiliário), a decisão de removê-los depende da estratégia:
  • Para estratégias de retorno estável, remover;
  • Se a estratégia funciona bem mesmo com ETFs em queda, pode indicar robustez, mas atenção ao risco de “função futura” (não prever reversões de tendência).
    Visualização de validação: plotar gráficos de tendência dos ETFs restantes (por exemplo, preços de fechamento desde 2017), para verificar manualmente se as correlações e distribuições estão de acordo com o esperado (baixa correlação, distribuição razoável).
    Resumo da lógica final de filtragem:
    Através de “filtragem inicial → agrupamento para remoção de duplicatas → segunda filtragem por correlação → (opcional) filtragem por data de fundação”, obter um conjunto de ETFs com boa liquidez, baixa correlação de tendências e dados históricos suficientes, visando fornecer uma base diversificada e de alta qualidade para estratégias ou modelos.