Por que as pessoas que são boas em explicar o passado estão sempre completamente erradas ao prever o futuro?

Pergunta à IA · Por que o overfitting na quantificação de investimentos transforma vencedores históricos em perdedores do futuro?

“Vida de overfitting”

#01

Uma “mentira” cuidadosamente tecida

Se você mostrar a um gestor de fundos quantitativos uma curva de valores líquidos quase perfeita — com retrações mínimas, retornos muito elevados e uma volatilidade com um padrão que parece tão regular quanto o batimento cardíaco — ele provavelmente não ficará excitado; antes, vai perguntar com frieza: “Tem certeza de que a estratégia não está overfitted?”

A investigação quantitativa, tal como toda a investigação, é uma tentativa de encontrar padrões a partir de uma enorme quantidade de dados históricos de preços, mas esse padrão não serve para explicar o passado; serve para tentar prever o futuro.

O chamado “overfitting”, em termos simples, é isto: o seu modelo está a funcionar tão bem que, para além de conseguir explicar o passado, não sabe absolutamente nada sobre o futuro.

Porque razão, no mundo dos investimentos, explicar o passado e prever o futuro entram em contradição?

As três imagens seguintes mostram as razões para o “overfitting” acontecer:

A imagem da esquerda é de “underfitting”; ela só descobre aproximadamente que os pontos azuis estão mais para a esquerda e os pontos laranja mais para a direita, mas a fronteira é demasiado simples;

A imagem do meio pertence ao “modelo perfeito”; ela usa uma curva simples para delinear a fronteira entre os pontos azuis e os pontos laranja, com apenas poucos pontos que não correspondem ao modelo, que podem ser vistos como “ruído”; um modelo assim tem capacidade de generalização — e a chamada “generalização” é precisamente a ideia de que algumas experiências específicas podem ser aplicadas a mais cenários.

A imagem da direita é o “overfitting”; ele não só tenta desenhar a fronteira entre os pontos azuis e os pontos laranja, como ainda inclui no modelo alguns pontos claramente “ruído”, por isso parece extremamente complexo.

Podemos imaginar que, embora este modelo tenha um desempenho excelente nos dados de treino, assim que entra num ambiente real, ao confrontar dados futuros que nunca viu e que estão distribuídos de forma aleatória, ele se vai degradar rapidamente.

A causa do “overfitting” está no facto de você querer demasiado encontrar uma estratégia perfeita, por exemplo, uma Sharpe superior a 2, uma maior retração inferior a 5%, etc. E o mercado financeiro é um ambiente com uma relação sinal-ruído muito baixa; na maior parte das oscilações de preço, o ruído é, na verdade, ruído aleatório sem significado. Se você perseguir indicadores de desempenho extremos, o seu algoritmo acaba por se ajustar a esse ruído sem querer, tratá-lo como sinal e, quando modela ruído como se fosse sinal, a estratégia resultante acaba por ser apenas o produto de encaixe feliz numa determinada amostra histórica específica.

Tal como na imagem da direita, as estratégias “overfitted” normalmente vão adicionando continuamente vários filtros, como “comprar apenas às terças-feiras”, “cruzamento dourado do MACD e chover em Pequim no próprio dia”, etc.; e, uma estratégia com 20 parâmetros tem muito mais probabilidade de “se montar” em cima de uma curva de valores líquidos bonita nos dados históricos do que uma estratégia com apenas 2 parâmetros, e também tem muito mais probabilidade de apresentar overfitting.

Vejamos um exemplo: se usar um computador para analisar os resultados passados de lotarias, desde que se adicionem parâmetros suficientes, é possível encontrar uma fórmula que explique perfeitamente o padrão da disposição de todos os números vencedores do passado; mas, depois do próximo sorteio, ela falha — e então terá de adicionar mais parâmetros.

A essência do overfitting é usar um modelo demasiado complexo para explicar um mundo cheio de aleatoriedade.

O mais interessante é que essa “armadilha de cálculo” que existe originalmente em servidores de alto desempenho, na prática, acontece todos os dias nos nossos cérebros. Em certa medida, muitas das nossas visões profundas sobre a vida são, na sua essência, um overfitting sobre a vida.

#02

O empirismo é overfitting

O cérebro humano tem cerca de 86 mil milhões de neurónios; tem “capacidade” suficiente para lembrar cada trauma, cada sucesso, cada momento emocional intenso — e codificá-los como pesos para decisões futuras. Esta é uma vantagem de sobrevivência que a evolução concedeu, mas também traz o risco de “overfitting”.

Só que o “overfitting” em estratégias quantitativas é uma coincidência precisa, enquanto o “overfitting” do cérebro humano costuma ser um viés grosseiro.

Imagine uma pessoa que, por duas vezes seguidas, encontra um parceiro de cooperação que “parece muito entusiasmado, mas depois o engana”; pode então formar dois modelos cognitivos:

Modelo cognitivo correto: preciso fazer uma investigação de base mais completa antes da cooperação e investir recursos por etapas.

Modelo cognitivo de overfitting: todas as pessoas entusiasmadas não merecem confiança. Daqui em diante, sempre que a outra parte mostrar entusiasmo, eu afasto-me automaticamente.

O segundo caso é uma regra de decisão demasiado específica, ajustada com base em apenas dois registos históricos, perdendo a capacidade de generalizar. No futuro, pode tanto ajudá-lo a evitar “enganadores entusiasmados” como fazer com que perca aqueles excelentes parceiros de cooperação sinceros e entusiasmados.

Ao longo da vida de uma pessoa, os “eventos independentes” que realmente têm significado estatístico e são suficientemente importantes para mudar a trajetória do destino talvez não sejam mais do que algumas dezenas:

você escolhe que universidade, você escolhe que profissão;

você escolhe com quem se casa e em que cidade se estabelece;

você faz um investimento grande num ano-chave, ou dá uma reviravolta num momento de crise.

Com apenas algumas dezenas de amostras para ajustar uma dimensão do real quase infinitamente vasta e cuja complexidade é muito superior à do mercado financeiro, do ponto de vista lógico-matemático, o overfitting é quase inevitável.

Tal como nas três imagens da secção anterior, a maioria das pessoas não fica satisfeita com o modelo do meio; em vez disso, tenta usar o modelo “overfitted” da direita para explicar o passado e orientar o futuro.

Há também o problema do feedback de dados. Em estratégias quantitativas, frequentemente usamos retornos para reforçar o modelo; já na cognição humana, dor e prazer são os sinais de feedback mais fortes. Uma “atualização de peso” formada por uma dor intensa pode ter um impacto que é centenas de vezes superior ao de um feedback ameno. Isto é semelhante a, num backtest, dar a uma ocasião de volatilidade extrema um peso demasiado elevado.

Quando alguém obtém sucesso em algo através de “esforço + sorte”, o cérebro dele constrói rapidamente um conjunto de lógica extremamente complexa. Ele vai associar a temperatura do dia, as suas maneiras de falar e de agir, e até uma frase de um provérbio que ele próprio seguia na altura, tudo como elementos-chave do sucesso. Ele tem a certeza de que domina o segredo do mundo, sem perceber que isso pode ser apenas um feixe de luz lançado pela fortuna no meio de ruído aleatório.

O fenómeno de “overfitting” acima, nós geralmente chamamos de “empirismo”: usando um número limitado de amostras históricas, ajusta-se um modelo demasiado complexo, sacrificando assim a capacidade de generalização em contextos desconhecidos.

Mais problemático ainda é que, embora o cérebro humano também tenha problemas de “overfitting”, não possui mecanismos científicos de correção como os de estratégias quantitativas.

#03

A vida não tem conjunto de teste

Para evitar o “overfitting”, a quantificação tem uma série de meios científicos para detetar, por exemplo, dividir os dados em conjunto de treino e conjunto de teste, construir a lógica com o conjunto de treino e verificar com o conjunto de teste, ou então treinar com dados históricos e validar com dados novos.

Mas a vida é sempre prática no mundo real; não existe conjunto de treino nem conjunto de teste. A vida não permite pisar duas vezes o mesmo rio. E, ao contrário do que acontece com software de quantificação, não dá para “clonar” um eu para testar num universo paralelo se a sua experiência continua a funcionar.

E o mais importante: há ainda mecanismos de defesa psicológica que tornam muito difícil perceber que as nossas experiências de vida — aquelas de que nos orgulhamos — podem ser apenas um overfitting de um período específico do passado.

Por exemplo**: viés de confirmação. Uma vez que uma pessoa forma uma certa crença, o cérebro procura ativamente evidências que a sustentem, ignorando os casos que a refutam.** Isto equivale a, numa operação em tempo real, adicionar mais parâmetros a um modelo que já está “overfitted”, para ajustar os novos dados; só que assim ele vai ficando cada vez mais distante da verdade.

Por exemplo, viés de atribuição, quando a decisão dá certo, atribui-se ao próprio discernimento; quando a decisão falha, atribui-se à sorte ou a fatores externos. Este mecanismo de feedback assimétrico torna difícil ao indivíduo avaliar com frieza a própria estratégia, como faria um trader quantitativo.

Mas, ao reconhecer isto, os seres humanos também podem construir os seus próprios mecanismos de correção.

#04

Separar a experiência

Para se proteger do overfitting, os traders quantitativos exigem que, durante o desenvolvimento de uma estratégia, exista um período de “testes às cegas” com “dados cegos”, e antes de a lógica da estratégia estar totalmente definida e os parâmetros estarem totalmente bloqueados, é absolutamente proibido olhar para esses dados. Só quando tudo ficar resolvido é que se realiza a verificação final usando esses dados que nunca foram “espiados”.

Os seres humanos, na verdade, também podem adotar este tipo de pensamento.

Quando você formar uma convicção firme (um modelo), não tenha pressa em tratá-la como verdade. Tente criar um “espaço de isolamento” na sua mente; antes de tomar decisões importantes na vida, você pode abrir esse “espaço de isolamento”, incluindo:

Procurar áreas totalmente diferentes das suas experiências passadas

Procurar “evidência contrária” que você tenha deliberadamente ignorado

Encontrar uma perspetiva que você nunca tinha considerado antes

Ler um livro que apresente uma posição oposta

Pedir aconselhamento a alguém com um background completamente diferente

……

Depois, pergunte a si mesmo: a experiência que aprendi baseia-se numa lógica que se repete nos acontecimentos, ou baseia-se apenas num detalhe fortuito do momento? Se trocar de pessoas, ou mudar o tempo, é que a mesma lógica ainda se mantém válida?

Para qualquer lição que lhe tenha deixado uma impressão profunda, deve lembrar-se deliberadamente: “isto pode ser apenas um caso isolado; não é apropriado tirar conclusões fortes”.

E também é preciso construir um pensamento probabilístico: encarar a sua perspetiva como uma distribuição de probabilidades, e não como um valor fixo. Quando surgem novas informações, é preciso atualizar as probabilidades a posteriori, e não derrubar tudo nem agarrar-se a tudo.

#05

O caminho mais vasto é o mais simples

Zhuangzi disse: “A minha vida tem um limite, mas o meu conhecimento não tem; usar o que tem limite para acompanhar o que não tem limite é perigoso.”

Como é que uma pessoa deve usar experiências limitadas (dados de teste) para lidar com possibilidades infinitas (o mundo futuro)?

Na quantificação de investimentos, existe um conceito famoso chamado “maldição da dimensionalidade”: à medida que o modelo ganha mais um parâmetro, a sua capacidade de explicação parece aumentar, mas a sua estabilidade e vitalidade caem a um ritmo exponencial. A maioria das estratégias quantitativas bem-sucedidas tem, em geral, menos de 5 fatores principais cujos núcleos não estão relacionados entre si.

Traders experientes tendem a usar estratégias concisas baseadas em lógica económica fundamental ou na microestrutura do mercado. Por exemplo, a lógica da “reversão à média” assenta na essência psicológica do pânico e da ganância humanas; esta lógica não só funcionou durante mais de 100 anos, como provavelmente continuará a funcionar.

Quanto mais simples for a lógica, melhor consegue atravessar diferentes ciclos, porque capta a essência das coisas, em vez de tentar descrever a forma do ruído.

A filosofia de investimento de Buffett também é extremamente simples — boas empresas + juros compostos — e quase não muda; é tão simples e estável que faz muitas pessoas acharem que Buffett não passa de mais um investidor comum.

A vida é assim também.

Caminhos de sucesso altamente complexos, dependentes de contactos específicos, de políticas específicas e de dividendos do setor específicos, desmoronam-se facilmente quando o ambiente muda de repente. Já aquelas “estratégias simples”, baseadas no senso comum e na lógica de base (como honestidade, juros compostos, aprendizagem ao longo da vida, controlo do risco), apesar de no curto prazo não parecerem tão surpreendentes como os padrões complexos que geram grandes retornos, têm uma resiliência maior e conseguem acompanhar-nos através de múltiplos ciclos da vida.

Esta é a explicação científica moderna do “o grande caminho é simples”, e também é essa a ideia por trás do “princípio da navalha de Occam” na filosofia ocidental.

Não tente analisar todas as falhas, nem tente ajustar cada sucesso; aceite a existência da aleatoriedade, mantenha sempre a dúvida sobre as suas experiências e preserve sempre a simplicidade da estratégia de vida.